杜海舟, 冯晓杰

(上海电力大学 计算机科学与技术学院, 上海 200090)

随着大数据、云计算和物联网需求的日益增长,机器学习尤其是深度学习在图像分类、语音识别、机器翻译以及围棋程序等领域都有了上千万的训练数据以支撑复杂模型的训练,建立了各种数据分析和决策系统。大数据的兴起也伴随着包含数百万甚至数十亿参数的更高维、更复杂的机器学习模型和深度神经网络的出现。如此大规模的计算,离不开硬件的支撑。图形处理器GPU有着比中央处理器CPU 更强的并行计算能力,能使复杂的训练更加高效。为了获得更高的预测精度、支持更智能的任务,需要训练更复杂的神经网络。然而训练大型模型所需的输入数据随模型参数呈指数增长,对这样大规模的数据训练所涉及的深度神经网络已经超过了单一机器的计算和存储能力,因此需要在多台计算机之间分配训练工作量,并从集中式系统转向分布式系统。在这种情况下,利用计算机集群,从大数据中训练性能优良的大模型成为分布式深度学习的目标之一。

1 分布式深度学习简介

分布式深度学习能够充分利用集群资源更快地完成训练。当训练数据或模型太大,无法由单机完成存储和计算时,就需要将数据或模型进行划分,并将其分配到各个计算节点上。这分别对应分布式深度学习中2种重要的并行化方式:数据并行和模型并行。

数据并行是先将数据划分到各个计算节点上,然后各节点利用自身的局部数据对模型进行训练,具体如图1所示,其中D代表数据,W1,W2,W3代表工作节点。……