基于数据并行的神经语言模型多卡训练分析
2018-08-17李垠桥阿敏巴雅尔朱靖波
中文信息学报 2018年7期
李垠桥,阿敏巴雅尔,肖 桐,薄 乐,朱靖波,张 俐
(东北大学 自然语言处理实验室,辽宁 沈阳 110819)
0 引言
使用神经网络进行语言建模依赖于大规模的语料数据,同时更大规模的参数设置一般来说也会对神经语言模型的训练有着正向的作用[1-3]。但当面对海量的数据和大规模的网络参数时,如何更加快速地进行模型训练便成了一个亟待解决的问题。
针对此问题,研究人员引入了GPU加快矩阵运算,为了进一步获得速度提升,训练也开始从单一设备转变到多设备并行。其主要方法有两种,数据并行和模型并行[4]。本文主要针对数据并行进行研究,该方法将数据分成若干部分,在多个设备上进行训练,以达到加速的效果。但该方法的简单实现并未达到令人满意的速度提升[5],问题在于训练过程中,设备间的数据传输占用大量时间。实验中,我们使用四张NVIDIA TITAN X (Pascal)GPU卡对循环神经网络进行训练,数据传输的时间占比高达70%。可以看出减小这部分耗时成为解决多设备训练中的重要问题。
科研人员针对如何在单位时间内传输大量的数据进行了研究,提出了许多可行的方法,如异步参数更新[6]、基于采样的更新[7]等。本文主要针对使用All-Reduce算法以及采样策略的神经网络梯度更新进行实验,在不同设备数量下训练前馈神经网络和循环神经网络语言模型[8],对比分析时间消耗随设备数量的变化趋势。实验中,使用上述两种方法训练的循环神经语言模型相对点对点结构在四张NVIDIA TITAN X (Pascal)GPU设备环境下分别可节约25%和41%左右的时间。……
登录APP查看全文
