陈程军，毛莺池，王绎超

（河海大学计算机与信息学院，南京211100）

（∗通信作者电子邮箱yingchimao@hhu.edu.cn）

0 引言

移动云计算作为移动互联网和云计算相结合的产物，利用云端的存储和计算等资源优势，突破移动设备的资源限制，提供卷积神经网络在移动终端部署的基础条件。AlexNet［1］、VGG-16［2］、GoogleNet［3-4］、ResNet-50［5］和 DenseNet［6］等新型卷积神经网络（Convolutional Neural Network，CNN）结构模型在相关领域内取得了较好的效果，但导致CNN模型朝层次增加方向发展，使大部分CNN模型都包含庞大的参数量，限制CNN模型在存储受限的移动设备上部署。移动设备（例如智能手机、医疗工具和物联网）几乎无处不在，对设备上深度学习服务的需求很高，包括对象识别、语言翻译、健康监控等，但目前大型深度学习模型因庞大的参数处理和存储受限，部署到移动系统仍然很困难［7］。有关研究证明大稀疏模型始终优于小密度模型，压缩大网络能取得比直接训练小网络更好的结果［8］，因此模型压缩对于移动设备上部署CNN模型至关重要。

目前常用的模型压缩技术分为：剪枝、量化、网络分解、知识蒸馏和精细模型设计：剪枝包含基于正则化的剪枝［9］和基于重要性的剪枝，通过裁剪训练好的神经网络模型中冗余的权值或神经元，减少存储空间和加速计算；量化［10］使用位运算代替浮点运算，减少权重的比特数来压缩模型，加速模型计算；网络分解利用张量或矩阵分解技术分解原始卷积核，有效减少了运算量；知识蒸馏［11］借助大模型学习知识，指导小模型训练并代替原模型；……