包志强，程 萍，黄琼丹，吕少卿

(西安邮电大学通信与信息工程学院，陕西 西安 710121)

0 引 言

近年来，卷积神经网络[1-3](Convolutional Neural Network, CNN)在目标检测[4-5]、图像分类[6-7]等领域取得诸多重大的研究成果。这很大程度上要归功于对网络架构的创新，虽然各种网络结构存在差异，但这些任务使用的是相似的优化技术[8]。这些技术将每个权重视为单独的个体并独立更新，在CNN的训练方面取得了有限的进展。而事实上，网络权重之间有很大的联系，卷积核在提取特征时总是存在着不必要的重叠[9-12]。

目前深度网络模型压缩与加速方法研究主要有以下几个方向：

1)设计更精细的网络结构，直接提出新的卷积计算方式，从而减少参数，达到压缩模型的效果，如SqueezeNet[13-14],以及修改网络结构ERFNet[15]。轻量级网络ShuffleNet[16]，这种新的CNN架构利用逐点群卷积和通道混洗操作使计算量大大降低。重新构建新型网络虽然可以降低模型大小，但对于网络结构的选择，模型不同设计思路也不同，且其自身的模型压缩也是一个难题。

2)核的稀疏化，是在训练过程中对权重更新以正则项进行诱导，使卷积核更加稀疏，稀疏化后，裁剪更加容易。Jin等人[17]通过训练一个稀疏度较高的网络降低网络模型的计算量。Lebedev等人[18]对参数矩阵进行稀疏化正则约束，在损失函数中添加正则项，使训练中的矩阵参数值逐渐趋于零。Wen等人[19]提出结构化稀疏学习方法，通过对卷积核、卷积核形状和网络层数等学习一个稀疏结构来降低计算能耗。稀疏化方法不需要预训练网络，实现过程简单，但模型性能对稀疏正则化系数较为敏感，故设置最优的正则化系数比较困难。……