任 刚 邓 攀 杨 超 吴长茂

1(河南工学院计算机科学与技术系 河南新乡 453003) 2(中国科学院软件研究所并行软件与计算科学实验室 北京 100190) 3 (中国科学院大学 北京 100049) (rengang2013@iscas.ac.cn)

神经网络(neural networks, NNs)也称神经元计算网络,是机器学习中的一类重要算法,其由许多具有层次关系的神经节点构成,能够通过样本学习实现权值调整从而模拟非线性映射关系[1].它借助于人类神经系统活动能够实现处理、存储和检索外界信息的原理,来实现自动学习、存储和运行等智能行为.从出现到现在的几十年里,学术界和工业界对其进行了广泛的研究并取得了大量成果[2].目前,神经网络已成为一个强大的计算模型,可以有效地解决复杂的模式分类[3-5]、图形图像识别[6-8]、语义理解[9-11]和语音识别[12-14]等问题.

BP(back propagation)算法是一种经典的神经网络学习算法,它采用随机选定网络初始值、梯度逐步下降的方法完成神经网络的训练.该算法训练过程包含大量计算,属于典型计算密集型算法，因此,BP算法的并行化成为神经网络热点研究方向之一.目前,其并行方法主要包括数据并行和结构并行2类.数据并行方法将样本数据平均分配到多个计算节点,实现数据的并行处理,而单个计算节点包含整个神经网络结构,因此该方法又称为粗粒度并行[15-17],它适合于大数据样本训练.结构并行方法是将整个神经网络划分为多个结构,各结构之间并行训练,因此又称为细粒度并行[18-19],该方法适用于大规模神经网络训……