王兴豪 卢光全 付丽萍

摘 要：深度学习并行化在加速模型训练、提高预测精度等方面具有重要作用。文章从数据并行、梯度累积算法两方面对深度交通时间预测模型（Travel Time Estimation Based on Deep Neural Networks， Deep TTE）进行了并行优化。实验以成都出租车数据作为数据集进行了并行模式的训练与评估，实验效果相较于Deep TTE，收敛速度有明显提升，RMSE降低了50.12%，MAPE降低了62.3%，MAE降低了56.02%。

关键词：深度强化学习;数据并行;梯度累加

0    引言

随着深度学习的发展，网络模型的设计偏向于更多的网络层数和每层网络神经元的个数，尽管这样的设计能够使模型具备更高的精度，但是随着网络层数和每层网络神经元个数的增加，训练过程中网络收敛的速度却大大降低，并且网络模型所拥有的参数总量也会急剧增长，进而导致网络模型过于庞大，使其只有在分割网络模型的前提下才能在GPU上进行训练。在深度学习研究领域中，并行计算方法[1]在提高训练速度，加快模型收敛方面发挥了重要作用。本文针对交通预测模型（Travel Time Estimation Based on Deep Neural Networks， Deep TTE）进行了并行优化，实现训练加速与提高精度的任务。

1    网络架构

1.1  数据并行

数据并行是指将数据量划分为若干份，交予不同的处理机进行独立计算[2]，如图1所示。在数据并行化过程中，网络模型被复制到GPU群组中，然后将数据集按照数据量借助切片算法进行划分，每个GPU个体针对各自得到的数据进行并行的前向传播计算得到损失的均值，最后利用反向传播更新每个GPU个体中的模型参数，完成一次轮询计算过程。……