汤凌韬，王迪，刘盛云

（1.数学工程与先进计算国家重点实验室，江苏 无锡 214125；2.上海交通大学网络空间安全学院，上海 200240）

0 引言

联邦学习[1-2]以深度神经网络为载体，通过本地训练和中央聚合的模式，使各节点在数据不出本地的情况下共同训练一个全局模型，有效打破了不同团体和组织间的信息壁垒。然而，联邦学习实用化面临的一个关键问题是：节点间的数据往往是非独立同分布（non-IID,non-independent and identically distributed）的。由于面向的采样对象不同或采样设备存在规格差异，各节点的本地数据往往不服从同一分布，表现出较大的差异性。non-IID 数据会影响全局模型的预测准确率，甚至导致模型不收敛，从而使联邦学习任务不能取得预期的效果。例如，2 个节点希望共同建立一个判断就诊人员是否患病的二分类模型，节点A 只拥有患者样本，节点B只拥有健康人员样本，则A 训练得到的模型倾向于将所有样本判定为“患病”，而B 则相反，此时2 个本地模型都不具备基本的可用性，直接对模型进行聚合容易偏离全局最优的优化方向，因此全局模型不会有较高的准确率。

一些文献就non-IID 数据对模型精度的影响进行了分析。文献[3]证明了数据分布的差异会导致各节点训练得到的本地模型逐渐收敛到局部最优，而偏离了全局最优的方向，严重影响聚合后的全局模型精度，学者将这种现象称为“本地模型偏移”或“节点偏移”。文献[4]则认为节点在模型训练的过程中发生了“知识遗忘”，虽然所有参与节点会在本地训练一定轮次后进行参数聚合，但数据分布的固有差异仍会导致节点在下一轮本地训练中不断巩固自身样本的知识，而逐渐忘记源于其他节点的样本知识。……