郭俊伦，彭书华，李俊杰

(北京信息科技大学 自动化学院，北京 100192)

0 引 言

随着深度神经网络技术的不断发展，深度神经网络在图像分类、目标检测等任务中的识别精度也在不断地提升。2012年，Krizhevsky等[1]提出了深度卷积神经网络AlexNet，证明了神经网络在图像分类任务中的巨大优势。随着研究的不断深入发现，网络的准确率与其深度成正比，但深度加深会引起梯度消失、神经网络退化等问题。2015年，He等[2]提出了残差神经网络，在网络深度达到152层的同时避免了网络加深后可能出现的各种问题。

GPU等硬件设备的不断发展，使得计算机的计算能力以及存储能力都有了很大的提升，但是这也限制了深度神经网络在嵌入式设备上的应用。针对嵌入式设备计算能力差、存储空间小等问题出现了各种网络压缩方法。目前主要的深度神经网络模型压缩算法[3]有5种：轻量型神经网络结构设计、参数剪枝、参数量化、低秩分解、知识蒸馏。

随着神经网络的不断加深，网络的冗余性也随之增加，为了解决这个问题，轻量型神经网络的设计变得尤为重要。轻量型深度神经网络结构设计可使神经网络在深度保持不变的情况下，通过精简网络结构达到减少网络参数、提高准确率以及减少网络冗余性的作用。一般使用分组卷积和轻量化卷积核的方法进行轻量化设计，例如MobileNet[4]、ShuffleNet[5]和ResNext[6]。Hinton等[7]提出了知识蒸馏的概念，在准确率损失较小的情况下，将卷积神经网络从40层减少到16层，大大减小了网络规模，为模型压缩提供了新的研究方向。……