王彩玲，王 炯，蒋国平

（南京邮电大学自动化学院、人工智能学院，江苏南京 210023）

卷积神经网络凭借着卓越的性能表现在图像分类［1］、目标检测［2－3］、语义分割［4］等计算机视觉任务中得到了广泛的应用。然而这些具有卓越性能的深度神经网络模型往往需要更高的算力开销和更大的内存空间，因此很难部署在算力和内存资源受限的移动和穿戴设备上，这极大地限制了其实际应用。为了将深度神经网络应用于实际，研究人员开始把更多的目光聚集于深度网络模型压缩方法的研究。最近被证实这些深度神经网络通常都是过参数化的［5］。在删除那些过渡参数化模型中的部分权值、激励或者层的情况下，并不会引起网络模型性能的显著下降［6］。这使得在保证网络性能良好的前提下，对网络模型进行压缩成为可能。目前，众多压缩深度神经网络模型的方法被研究人员相继提出。常用的 方法 有 网络 剪 枝［7－9］、 低 秩分解［10］、 知识 蒸馏［11］、高效的神经架构［12］和参数量化［13］。

剪枝，作为压缩深度神经网络模型的主流方法之一，可以极大地减小内存占用和推理运算时间。在过去的十年内，激起了广大研究者的兴趣。剪枝主要分为结构化剪枝和非结构化剪枝。非结构化剪枝是将不重要的权值设置为0，从而实现高稀疏性，但是稀疏操作需要专门的硬件或者软件库来加快推理过程，因此限制了非结构化剪枝的应用。结构化剪枝则是移除原始网络中不重要的滤波器（通道）。……