张江永，徐智勇，张建林，许 涛

（1.中国科学院光电技术研究所，成都 610209；2.中国科学院大学 电子电气与通信工程学院，北京 100049；3.中国船舶工业系统工程研究院，北京 100036）

0 概述

自从2012 年AlexNet 问世以来，深度卷积神经网络（Convolutional Neural Network，CNN）在图像处理和自然语言处理等任务中取得了重要成果。为增强卷积神经网络的非线性拟合能力，网络通常被设计得更宽和更深，并且需要大量的存储空间和计算资源，导致其不适用于算力有限的硬件设备。因此，针对大型卷积神经网络进行压缩，在确保精度损失较少的前提下，设计占用存储量、前向推理计算量和能源消耗量均减少的轻量化网络模型就显得十分重要，而轻量化方法主要包括剪枝［1-2］、低秩分解［3］、量化［4］、知识蒸馏［5-6］等。由于卷积神经网络中包含卷积层和全连接层等人为设定的训练参数模块，这种凭借经验通过重复实验得到的局部最优超参数不能代表网络的实际需求。根据深度卷积神经网络的新双U 型偏差-方差风险曲线［6］可知，在不考虑资源限制的条件下，参数越多、模型越复杂的网络性能表现越好，但是过多参数的复杂模型没有权衡成本和性能间的关系并且模型存在冗余。剪枝的目的是通过剪除网络中冗余的模块，从过参数化的复杂模型中得到参数较少的轻量化模型，该模型处于双U 型曲线的第一极小值点。

剪枝按照粒度的粗细可以分为非结构化剪枝和结构化剪枝两种。非结构化剪枝主要是对权重进行……