张智鹏，江佳伟，余乐乐 ，崔斌＊

1.北京大学，计算机科学与技术系，高可信软件技术教育部重点实验室，北京100871

2.腾讯公司，北京100193

引言

近年来，随着互联网、通信、电子商务等行业的不断发展，各种类型的数据呈爆炸式增长，大数据已经成为研究界和工业界关注的热点。大数据中往往隐含着小数据量不具备的深度知识和潜在价值，挖掘出这些信息能够提升行业和企业的管理能力、决策水平和经济效益，为社会和个人提供更多智能和便利的服务。大数据分析中，机器学习技术是被广泛应用的工具，在单机上串行或者并行处理的机器学习算法已经有了比较成熟的研究。

但是，当今动辄达到数百TB甚至PB规模的数据以及应用的复杂程度已经远远超过了单机系统的计算和存储能力。数据量的增加通常伴随着更高维的机器学习模型，更多的模型参数以及更为复杂的训练过程。在业界真实的场景中，一个大规模机器学习系统需要有能够对PB量级的训练数据和数百亿维度的模型参数进行训练的能力。

1 分布式机器学习的挑战和解决方法

为了方便大规模机器学习任务的开发和应用，研究人员设计了各种各样的系统来解决大规模机器学习的问题。在大数据的背景下，分布式机器学习系统作为机器学习和分布式系统的交叉领域，有着独特的挑战：

(1) 高维模型。在业界真实的场景中，数据特征的维度往往能够达到十亿甚至百亿的规模。……