葛泉波 ,张建朝 ,杨秦敏 ,李 宏

(1.南京信息工程大学自动化学院，江苏南京,210044;2.杭州电子科技大学自动化学院,浙江杭州 310018;3.浙江大学控制科学与工程学院,浙江杭州 310063;4.中国飞行试验研究院,陕西西安 710089)

1 引言

BP(back propagation)神经网络,其计算过程由正向和反向过程组成,广泛应用于如图像分类[1-2]、目标检测[3]和人脸识别[4]等领域,其能否成功的关键因素为网络的泛化能力.虽然BP神经网络在人工智能领域取得了巨大的成功,但是面对越来越庞大的数据集,进行深度网络的训练需要消耗巨大的计算成本,即使使用高配置的GPU服务器也需花费较长的训练时间.因此,在不牺牲甚至提高准确率的基础上,尽可能地加快深度网络模型的训练速度尤为重要.这样不仅可以节省训练时间,也可以节约硬件设备的成本[5].BP神经网络的性能主要取决于其网络结构与优化算法.对于一个神经网络结构,其全部信息主要体现在网络连接权重的分布上,网络权重直接影响了BP神经网络的收敛速度与精度.优化学习算法作为修正权重的关键,决定着BP神经网络性能优劣.

目前,大多数的优化算法是基于迭代的方法,该类方法通过迭代优化辅助目标函数,向着最优解决方案寻找一组参数(即权重)[6-8],主要使用的算法是基于随机梯度下降(stochastic gradient descent,SGD)的改进算法.SGD动量策略是同时考虑过去和现在的梯度来更新网络参数,但该方法存在超调问题,即权值超过最优解而不改变更新方向的现象[9].这种……