张明明，卢庆宁，李文中，宋 浒

（1.国网江苏省电力有限公司信息通信分公司，南京 210024；2.计算机软件新技术国家重点实验室（南京大学），南京 210023）

（∗通信作者电子邮箱qnlu@smail.nju.edu.cn）

0 引言

近年来深度学习发展迅猛，其在图像识别、语音识别、文本翻译等多领域的应用，在国内外学术和工业界都获得了广泛的关注。然而深度神经网络（Deep Neural Network，DNN）通常需要大量计算开销，其模型的复杂度、高额的存储空间以及计算资源消耗导致其难以被应用在计算资源、能源受限的移动设备中。例如经典的图像分类网络VGG16［1］，参数数量多达1.3 亿，占用存储空间500 MB，需要进行309 亿次浮点运算才能完成一次图像识别任务。文献［2］指出，深度学习神经网络中存在很大程度的冗余，仅使用很少一部分权值就可以预测剩余的权值。因而，模型压缩（Model Compression，MC）［3］在理论上存在可行性，在现实中也存在着必要性。

模型压缩的最终目的是降低模型的复杂度，减少模型的存储空间，并加速模型的训练和推理。因而，其涉及到多方面的不同问题，包括优化算法、计算机架构、数据压缩、硬件设计等。模型压缩的主要方法有低秩近似、网络量化、知识蒸馏、紧凑网络设计，以及网络剪枝［4-5］。

作为模型压缩的一个分支，神经网络剪枝技术通过移除不重要的分支，降低大型神经网络计算消耗，使得其可以在移动设备上运行。如图1 所示，网络剪枝采用某种衡量标准，移除网络中一部分权值，或者移除一部分权值间的连接。因而，如何衡量权重的重要性成为了算法的核心问题。……