高 晗,田育龙,许封元,仲 盛

(计算机软件新技术国家重点实验室(南京大学),江苏 南京 210023)

深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型.被压缩后的模型计算资源需求和内存需求更小,相比原始模型能够满足更加广泛的应用需求.

本文系统地介绍模型压缩与加速方面的进展.第1 节主要介绍深度学习模型压缩与加速技术提出的研究背景和研究动机,以及本文的主要贡献.第2 节主要对目前主流的模型压缩与加速方法进行分类总结,从参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享、混合方式这7 个方面探究相关技术的发展历程,并分析其特点.第3 节主要比较各类压缩与加速技术中一些代表性方法的压缩效果.第4 节探讨模型压缩与加速领域未来的发展方向.第5 节对全文进行总结.

1 简介

1.1 研究背景

神经网络的概念在20 世纪40 年代提出后,发展一直不温不火.直到1989 年,LeCun 教授提出应用于手写字体识别的卷积神经网络[1],取得了良好效果,才使其得到更广泛的发展和关注.卷积神经网络(CNN)的得名即来自于其使用了卷积运算的结果.如图1 所示,特征图(feature map)是输入数据的中间抽象表示结果,输入特征图(input feature map)是由Cin个Hin×Win的2D 输入特征图组合而成,每一个滤波器(filter)与输入特征图的通道数相同,由Cin个d×d的卷积核(kernel)构成,输出特征图(output feature map)的每个……