李相桥，李 晨，田丽华，张玉龙

(1.西安交通大学 软件学院，陕西 西安 710049；2.中航工业西安飞行自动控制研究所，陕西 西安 710065)

0 引 言

近年来，神经网络在图像识别、语音处理等方面取得了巨大的成果并得到了广泛的关注。特别是2012年出现的AlexNet卷积神经网络在图像分类方面取得了巨大的突破，在ImageNet数据评测集上将错误率大大降低[1]。之后改进的卷积神经网络将错误率降低到到人类水平[2]。在语音处理与理解方面，微软亚洲研究院以及其他研究学者们利用神经网络模型同样获得了非凡的效果[3]。

卷积神经网络(convolution neutral network，CNN)属于人工神经网络(artificial neutral network，ANN)的一种，训练时采用误差反向传播算法(back propagation，BP)[4]，该算法目前已经广泛应用于机器学习和模型识别中。但由于CNN模型的计算量巨大，模型训练往往需要消耗大量的时间。目前一般使用多GPU的方式进行并行训练，但在并行的过程中由于需要相互等待以及配置并行本身会引入额外的开销。随着并行度的增大，同步等待时间不断增大，使得GPU间的数据通讯变得缓慢，从而影响到了模型训练的速度，这无疑成为目前需要解决的一个问题。

国内外的学者已经针对神经网络的并行训练问题展开了相关研究。文献[5]提出了一个由1 000台机器共16 000块CPU组成的并行的神经网络模型训练系统DistBelief，并对训练算法进行了改进，抛弃传统的同步算法改为异步的方式。异步算法无需等待，从而节省了同步等待时间，加快了模型的训练速度。但由于异步算法的不确定，无法保证网络模型一定会收敛，有些神经网络模型由异步算法训练出来会有明显的性能下降[6]。……