毕常遥 袁晓彤,2

1(南京信息工程大学自动化学院 江苏 南京 210044) 2(江苏省大数据分析技术重点实验室 江苏 南京 210044)

0 引 言

随着社会的高速发展，各个领域对于处理各类数据的要求日益上升，所要处理数据的规模也在不断增长。解决这一问题，就需要进行大规模的机器学习应用。随之而来的是模型复杂度的上升，具体体现在参数数量的激增。如何高效、快速地实现对大规模数据的分析计算是当前研究的趋势与挑战。近年来，针对这一问题涌现出了大量分布式计算的研究成果，其中既包括了各式各样的优化算法，也不乏分布式框架的搭建与优化。

Lee等[1]在随机梯度下降法的基础上，引入了一个可以不断减少上界的方差项，实现了具有线性收敛的分布式随机方差消减梯度下降法。Zhao等[2]提出的可扩展复合优化的算法SCOPE是基于随机方差消减梯度下降算法的变种。相比于分布式随机方差消减梯度下降法，SCOPE在训练时仅使用本地数据，并设计了特殊的参数更新方式。该算法在强凸的条件下效果优于随机方差消减梯度下降算法。此后，他们又在此基础上引入了近端梯度下降法，提出了适用于分布式稀疏学习的Proximal SCOPE[3]。

Smith等[4]提出了一种分布式的对偶方法CoCoa。在该算法中，每台机器将利用对偶性导出本地的子问题进行并行求解。该算法在SVM、线性/logistic回归和lasso算法方面获得了较好的效果。随后，Ma等[5]针对CoCoa的局部优化环节重新进行了设计，提出了CoCoa+。在CoCoa+框架下，每台机器可以选择不同的求解器来进行局部优化，进一步提高了优化的速度。……