唐武海，董 博，陈 华，龚 勇

（1.中国电子科技南湖研究院，浙江 嘉兴 314002；2．中国科学技术大学先进技术研究院，安徽 合肥 230000）

0 引言

目前来看，深度学习[1]已经成为机器学习领域中不可或缺的一部分，在人工智能很多领域都取得了巨大的发展，尤其是在图像识别、语音识别等任务的处理上更是取得了非凡的突破，基本已经取代了先前的技术。随着AlexNet[2]在2012年图像视觉识别挑战赛中以绝对优势一举夺冠之后，深度学习的研究浪潮席卷而来，后面又陆续出现了VGG[3]、GoogLeNet[4]、ResNet[5]、DenseNet[6]等神经网络。它们在ImageNet数据集分类任务上都取得了很高的准确率，其中ResNet的准确率更是高达75%以上。虽然神经网络模型的精度和准确度得到了提高，但是长期以来由于研究者过分追求模型性能的提高使得计算越来越复杂，内存需求和计算开销逐渐增加。这样一来必然会导致模型训练十分困难，但目前很多的实际应用场景并不具备较大的内存存储和强大的计算能力，比如手机等移动设备。从实际情况来看，DNN（Deep Neural Networks）模型依然很难部署到这些存储和功耗相对较低的小型设备上。因此，如何在保证现有神经网络模型性能不变的前提下，对模型进行有效地压缩，减少网络模型的计算量和存储空间成为了近年来的热点。我们将从模型剪枝、量化、轻量化网络设计、知识蒸馏四个方面探讨神经网络模型压缩的解决方案，详细介绍这些方面的研究成果。

1 模型剪枝

模型剪枝是目前一项非常主流的神经网络模型压缩技术，它对已训练好的DNN模型进行剪枝，通过剪除网络中冗余的部分来压缩网络，并且提升了模型的泛化能力。……