李抵非，田 地，胡雄伟

(1.吉林大学 仪器科学与电气工程学院，长春130021;2.国家标准化管理委员会 标准信息中心，北京100088)

近年来随着对深度学习领域研究的深入，已经证实通过扩大训练样本的数量和模型参数的规模可以有效提升模型的精度［1-3］。为了克服由于扩大训练规模造成的时间成本问题，许多基于深度神经网络的并行化计算方法被提出，其中大致分为两类方法，一是采用集群的方式对深度神经网络进行分布式训练［4-5］，二是利用图形处理单元(GPU)特性进行并行加速［6-9］。采用GPU 计算的方法虽然有效地提升了模型的训练效率，但是由于现阶段显卡显存的限制和其不易扩展的特点，GPU 的运用还主要集中在训练中、小规模深度神经网;使用大规模集群的方式可以训练大型深度神经网，并取得了良好的效果，但所有训练模型的副本以及参数需保存在存储设备中，训练过程中频繁发生存储设备的读写操作，I/O 的速率将会影响训练的效率。

本文采用分布式内存计算的方式，使整个深度神经网络的训练过程运行在集群的分布式内存之上，既保证了深度神经网络规模可扩展又避免了I/O 读写速率对系统的影响，提高了训练效率。

1 深度神经网络模型

目前深度神经网络模型存在很多种类，本文以深度信念网络(Deep belief networks，DBNs)模型［10-12］为例，将其运行在分布式集群之上。DBNs是由多层限制玻尔兹曼机(RBM)堆叠形成，采用无监督贪婪逐层训练的方式进行学习。DBNs 是一个概率生成模型，目的是建立可视层和隐藏层之间的联合分布。……