顾上航，张利军，郭越超，徐 勇

哈尔滨工业大学（深圳）计算机科学与技术学院，广东 深圳518000

自从Alexnet[1]在ImageNet 图像分类数据集上取得成功以来，卷积神经网络在计算机视觉任务[1-4]上取得了显著的突破，有关卷积神经网络的研究也取得了很大的进展。2015 年之后，VGGNet[5]、GooLeNet[6]、ResNet[7]网络的相继出现，使得卷积神经网络的深度和宽度得到了极大的拓展。但是近年的一些研究[8-9]发现，在网络规模和复杂度提升的同时，网络中会出现部分卷积核不能被充分利用，成为无效卷积核的问题，即部分卷积核在神经网络推理中不起作用。这一问题导致模型的精度无法进一步地提升。

为进一步提高神经网络模型的精度，许多学者对该问题做了相关的研究并提出相应的解决方案。模型剪枝方法[10-13]先将神经网络的卷积核进行有效性排序，然后剪去神经网络中无效的卷积核，并进行重训练。模型剪枝方法在缩小模型的尺寸并加快推理速度的同时，它的良好效果也验证了确实存在部分的卷积核对神经网络推理结果没有影响或仅有微小的影响。但模型剪枝方法需要更改模型结构，不利于模型的部署，并且不可避免地损失了网络的精度。Meng等[14]提出了模型嫁接的方法，在神经网络中，不停地将一个神经网络模型的有效卷积核替换给另一个神经网络的无效卷积核。该方法提高了模型的精度，并且不需要监督函数，但需要两个神经网络同时进行训练。

此外，文献[15]中提到，之前一些卷积神经网络优化方法的实质也是对卷积核的有效性进行强化。……