朱雪晨,陈三林,蔡 刚,黄志洪

(1.中国科学院空天信息创新研究院,北京 100094; 2.中国科学院大学,北京 100049)

0 引 言

卷积神经网络具有平移不变性以及权值共享的结构，相比于传统算法，可避免复杂的数据预处理以及特征提取过程。目前卷积神经网络被广泛应用到各个领域[1-3]，尤其在计算机视觉方面获得了巨大的成功。随着物联网技术的发展，很多设备需要智能处理图片或视频[4]，具有精准目标识别功能的移动端在市场上具有巨大的需求潜力[5]。移动端对网络模型参数敏感，然而卷积神经网络模型规模日益扩增，参数规模越来越大，需要消耗大量的计算和存储资源[6]，使其难以集成到资源有限的移动终端内，例如手机、平板电脑等[7]。

卷积神经网络模型参数压缩方法能很好地解决卷积神经网络庞大的参数量与有限的资源之间的矛盾[8-10]，目前被广泛应用的模型参数压缩方法有权重参数量化、SVD分解法等[11]。

权重参数量化可通过降低权重的精度达到降低资源消耗的目的。比如在常见的开发框架中，神经网络的激活和权重通常由浮点数据表示，采用低位定点数据甚至一小部分训练值代替浮点数据有助于减少神经网络处理系统的带宽和存储需求[12-15]。缺点是数据精度的降低造成了分类准确率的降低，同时压缩效果很难有更高的提升。

SVD分解法则通过减少权重的数量来达到降低资源消耗的目的。文献[16]通过奇异值分解压缩全连接层的权重矩阵W。……