杨民杰，梁亚玲，杜明辉

（华南理工大学电子与信息学院，广州 510641）

0 概述

自2012年AlexNet［1］获得ImageNet大型视觉识别比赛（ImageNet Large Scale Visual Recognition Competition，ILSVRC）冠军以来，以AlexNet为代表的基于深度学习的卷积神经网络受到广泛关注并得到深入发展，一系列深度学习神经网络相继出现，例如用于分类任务的Vgg［2］、GoogleNet［3］和ResNet［4］等网络以及用于目标检测任务的Rcnn［5］、FastRcnn［6］、FasterRcnn［7］、YOLOv3［8］和SSD［9］等网络。随着神经网络逐渐加深，其应用于视觉任务的网络精度已逐渐接近甚至超过人类的视觉识别水平［10］，而网络模型占据的存储空间、计算时长和计算量等均不断增加，对嵌入式设备的计算性能提出更高要求，所需设备成本与电量能耗均增大。然而嵌入式设备在计算能力、存储能力以及电量能耗等方面均有一定限制［10］，为了在嵌入式设备中成功部署相关的深度学习神经网络，需在保持神经网络分类或检测精度的同时对其进行压缩。

神经网络压缩算法主要包括低秩近似算法、剪枝算法、量化算法、知识蒸馏算法和紧凑型网络设计算法等。低秩近似算法是将稠密的满秩矩阵表示为若干低秩矩阵的组合，低秩矩阵又分解为小规模矩阵的乘积，从而达到简化的目的。文献［11］提出一种线性组合卷积核基底算法，用f×1+1×f卷积核替代f×f卷积核进行低秩近似。剪枝算法是通过修剪神经网络中冗余滤波器进行网络优化，删除神经网络权重矩阵中不重要的部分权重，仅保留有用部分，再重新对网络进行微调。量化算法是用低精度参数权值代替神经网络中32 bit的浮点型参数权值，目前大多数低精度的方案采用INT8型参数代替FP32型参数，通过牺牲部分精度降低占用空间。……