陈瑞锋，谢在鹏，朱晓瑞，屈志昊

(河海大学 计算机与信息学院，南京 211100) E-mail：zaipengxie@hhu.edu.cn

1 引 言

近年来，智能手机、平板电脑、可穿戴设备等移动设备逐渐成为人们日常生活的组成部分.这些移动设备通常装备了种类丰富的传感器，可感知诸如图像、声音、加速度等数据.随着这些设备的普及，诸如运动检测[1]、图像识别[2-4]、自然语言处理[5]等移动互联网应用逐渐流行.这些应用通常基于机器学习模型对用户提交的感知数据进行处理并返回处理结果.理想情况下，用于处理用户数据的机器学习模型可使用来自不同用户的大量标记数据进行训练以提高模型的表达性能和泛化性能.然而出于隐私与安全原因，用户经常不愿意上传这些数据.

针对此问题，谷歌[6]提出了联邦学习用于解决机器学习模型训练的数据需求与用户数据隐私保护之间的矛盾.联邦学习是一种分布式机器学习框架，能够在满足用户隐私与数据安全的同时有效利用数据进行机器学习模型训练.具体而言，联邦学习利用移动设备(工作节点)本地计算能力和数据训练机器学习模型，然后将训练后的模型参数在服务器端聚合并作为下一轮本地训练的初始参数，迭代上述过程直至达到最终模型达到最好的泛化性能.由于所有用户数据都只用于本地模型训练，联邦学习充分保护了用户隐私与数据安全.

尽管具有上述优点，联邦学习在实现时经常面临以下问题[6-8]：1)由于多个工作节点上可用的计算、通信资源以及数据量通常不同，因此工作节点完成每轮本地训练后提交模型参数的时间存在差异.这会造成参数服务器因等待慢节点上传参数而延长训练时间(即落跑者问题[9])；……