宋华伟，李升起，万方杰，卫玉萍

（郑州大学网络空间安全学院，河南 郑州 450000）

0 引言

在互联网时代，全球数百亿的联网设备产生的数据呈指数级增长［1-2］。充分利用这些海量数据可以助力于建立更复杂、准确的神经网络模型［3］，提高神经网络模型的质量。然而，现实中的数据由于数据隐私、行业竞争等限制［4］，数据本身的整合存在巨大的阻碍，集中式训练的方式变得越来越不可行。

由于上述问题的出现，联邦学习（FL）得到了越来越多的关注［5］。联邦学习技术由谷歌于2016 年首次提出［6］，核心思想是在保护数据隐私的前提下，实现多方参与的训练，解决数据集中化和数据孤岛问题。联邦学习采用分布式的训练过程，客户端利用本地数据更新局部模型，无需上传本地数据，仅将更新后的局部模型参数上传到服务器，不断交互、更新执行，直到全局模型收敛或达到预定的训练轮数。联邦学习技术很好地平衡了大量数据、数据隐私与数据价值之间的矛盾。

但是，联邦学习拥有优势的同时也带来新的问题。联邦学习通常涉及大量客户端，这些参与方数据的独立同分布（IID）程度对模型训练的最终效果有重要的影响［7-8］。但在现实情况中，每个参与方的本地数据总是非独立同分布（Non-IID）的，例如：在医疗领域，不同的参与方可能拥有来自不同病人的医疗图像数据，数据在大小、颜色、对比度、亮度等方面均存在差异；综合性医院每种类型的数据可能都比较全面，而专科医院只有某一类的数据比较全面，且这一类数据的质量较高。……