APP下载

卷积神经网络压缩中的知识蒸馏技术综述

2021-10-12孟宪法黄萌萌

计算机与生活 2021年10期
关键词:特征方法教师

孟宪法,刘 方,李 广,黄萌萌

国防科技大学 自动目标识别重点实验室,长沙 410000

近些年来,随着数据集的丰富完善,计算单元性能的快速提升,卷积神经网络(convolutional neural network,CNN)凭借着强大的特征提取和表达能力,在图像分类[1]、目标检测[2]和语义分割[3]等计算机视觉领域,都获得了显著的应用成效。得益于网络模型的加深加巨,CNN 的众多拓展模型在众多任务中超越了很多传统技术方法,甚至堪比人类的识别能力,可适用于广泛的行业应用,如智能驾驶[4-5]、智能机器人[6]、人脸识别[7]、疾病检测[8]等。

但是注意到:通常网络的性能与网络的结构复杂度成正比,网络结构越复杂模型越深越宽,网络性能就越好。如表1 所示,He 等提出的ResNet-152[9]模型深度达到了152 层,参数量达到了0.6 亿个,需要花费241 MB 内存存储,分类一幅分辨率为224×224 的彩色图像需要115 亿次浮点型计算。深度神经网络会占用大量的内存存储,带来繁多的计算量,造成巨大的电量消耗,这些问题使网络很难在资源受限的嵌入式设备和对实时性要求较高的移动端部署。如果能把深度神经网络进行压缩,让网络减少对内存存储的消耗,就可以使网络在内存资源受限的设备上进行部署,并且轻量化的神经网络还可以实现运算加速,这样在军民应用中都有着广泛的拓展潜力。

Table 1 Basic information of classical convolutional neural network表1 经典卷积神经网络的基本信息

通常情况下,深度神经网络存在着大量的参数冗余。根据LeCun 等[10]实验表明,深度神经网络有近一半的权重对网络性能影响甚微,由此可见,深度神经网络有着很大的压缩空间,而且过量的参数还会导致过拟合,使模型的泛化能力下降。……

登录APP查看全文

猜你喜欢

特征方法教师
最美教师
教师如何说课
如何表达“特征”
不忠诚的四个特征
未来教师的当下使命
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼
圆我教师梦
线性代数的应用特征