文／安徽交通职业技术学院 万芳

安徽省交通运输综合执法监督局 李明

关键字:卷积神经网络；加速收敛；加权误差；计算机视觉；图像分类；深度学习；误差函数；梯度下降

神经网络一直被居高不下的计算量让任务耗费着大量的计算资源，而且严重限制了神经网络在各个领域地普及。近些年，各类降低参数量[1,2]和加速神经网络收敛速度[3-5]的研究出现在人们的视线中，让神经网络得以运行在手机等移动电子设备中，也促进了神经网络研究的进程。其中ShuffleNet[1]采用分组卷积减低参数量，Batch Normalization[4]着眼于每层特征图的不同协方差进行了研究，并在之后的各类神经网络中广泛使用，极大地缩减了神经网络的运行时间，但是神经网络的训练速度仍然有待提高。

在梯度下降缩减误差的同时，我们考虑加入另一个类似的通道，提出了加权误差（Weighted error, WE），加权误差在神经网络中应用不多，大都是不同应用场景的改进[6]，而我们针对最原始的神经网络进行改进。以分类举例：我们通常使用交叉熵作为误差函数，由其在神经网络中的独特作用，其是将真实分类对应的输出增大，来近似期望模型的，其等价地就是缩小其错误分类对应的输出。

基于这种想法，我们采用乘法连接两个模块，将这个通道作为误差函数的权重输入，在零参数增加和少量计算量的增加下，加快了10-20%神经网络的收敛速度。

1 加权误差

在随机梯度下降算法中，我们对于批量大小为m 的输入采用：

由……