季繁繁，杨 鑫，袁晓彤

（南京信息工程大学江苏省大数据分析技术重点实验室，南京 210044）

0 概述

随着计算机运算速度的提升和大数据技术的发展，自从2012年AlexNet［1］在ImageNet竞赛中获得冠军后，研究人员不断设计出更深和更复杂的深度神经网络（Deep Neural Network，DNN）模型以期获得更好的分类精度。但深度神经网络复杂的结构所需的庞大计算资源使其在实际应用中受到一定的限制，主要表现为DNN模型在资源受限的无人机、智能手机、平板电脑等硬件设备上难以进行有效部署，因此网络压缩技术应运而生。目前主流的网络压缩方法有网络剪枝［2-4］、网络参数量化［5-6］与分解［7］、网络结构轻量化设计［8］和知识蒸馏［9］等，其中网络剪枝是对网络中的冗余元素进行裁剪，是最常用的网络压缩方法之一，其能同时对卷积层和全连接层进行裁剪，尤其是结构化剪枝方法可以不受硬件条件的限制而直接达到减少网络内存占用和网络加速的目的，并且网络剪枝还可以与其他网络压缩方法进行兼容，如剪枝后的网络能通过知识蒸馏提高网络性能［10］，或者利用网络结构轻量化设计进一步提升网络压缩效果［5］。

网络剪枝的核心是衡量元素的重要性并对其进行裁剪，现有算法提出的剪枝标准通常只涉及网络模型的零阶信息（参数本身信息）或一阶信息（梯度信息）［4，11-12］，并没有涉及网络二阶信息。然而，网络模型的二阶信息也是十分重要的信息，在机器学习优化任务中可以加快模型收敛速度［13］。……