冯敬翔

(华北计算技术研究所,北京 100083)

0 引 言

自2012年AlexNet在ILSVRC挑战赛中夺冠后，卷积神经网络(Convolutional Neural Network)在视觉领域的单目标检测、多分类识别、视频目标检测、图像分割[1]等领域受到广泛应用，此后其发展总体趋势向着网络层级更深、参数规模更大的方向行进。随着智能应用在边缘端部署需求的扩张，边缘设备存储空间、内存大小、运行功耗、实时性对于计算性能的限制，已经成为卷积神经网络在边缘端的实际部署瓶颈。为了能显著缩减模型占用的资源和计算开销，卷积神经网络压缩相关算法的需求变得日益迫切。

本文提出基于迁移学习方法来改进卷积神经网络稀疏化过程，探究针对基于BN层缩放因子的通道剪枝能否据此获得更高的剪枝阈值，对其剪枝效果与迭代收敛性进行研究验证，并从结构搜索的观点对实验结果进行解释。主要工作如下：

1)从多分类大数据集向小数据集实现迁移，对比加载预训练权重初始化重新训练、与冻结部分卷积层参数微调对稀疏化效果产生的影响。

2)对稀疏化后的通道按权重排序并剪枝，考察通道剪枝阈值选取容限，测试新形成网络结构的精度保持情况。

3)进一步地，利用迭代剪枝方法，探究模型精度保持极限与结构收敛性。从而证明，迁移学习更易实现充分的权值稀疏化，利于剪枝迭代快速趋近至该搜索空间的一个网络结构局部最优解。

1 相关工作

1.1 卷积神经网络剪枝

卷积神经网络强大的特征采样性能来自于大量的参数和复杂的多层结构，现代卷积神经网络也都多在经典结构上加深加宽来提高精度。……