赵丽君, 周永军, 汤小红, 蒋淑霞, 董寅宾, 廖慕钦

(中南林业科技大学 机电工程学院,湖南 长沙 410000)

0 引 言

障碍物检测和识别是无人驾驶汽车驾驶自主避障的前提,主要传感手段有雷达、激光等主动传感器和基于视觉的被动传感器。将深度卷积神经网络应用在无人驾驶场景识别,是一个实用且具有挑战的研究方向[1,2]。深度卷积神经网络更深的层级和大量参数是网络模型准确检测及识别的重要保障。但是,由于需要训练的参数众多,导致训练过程计算量大、模型所占内存太大以至难以部署到移动端。模型剪枝是一种网络模型压缩方法,对深度神经网络的稠密连接引入稀疏性,通过将“不重要”的权重删掉来减少权重数量。

LeCun Y等人[3]提出使用对角Hessian矩阵评价每个权重参数的重要性,将网络中不重要的参数剔除,从而达到压缩模型作用，方法能够较好保证网络测试准确率,但对网络加速效果有限；Hassibi B等人[4]提出使用逆 Hessian 矩阵评价每个权重的重要性,将重要性低的权重删减,剩余权重使用二阶泰勒确定损失函数值增量更新；Luo J H等人[5]利用熵值大小评价卷积核重要性,将重要性较小的卷积核进行裁剪。

卷积核剪枝侧重于模型加速,权重剪枝侧重于模型压缩,因此,本文提出一种组合剪枝方法,分别对全连接层和卷积层采用不同的剪枝算法进行模型剪枝。所提剪枝算法不仅有效提高了网络模型的泛化能力,而且大大节省了参数存储空间,提高训练和测试速度。……