Survey of privacy-preserving aggregation mechanisms in federated learning

Qiu Jiana，Ma Haiyinga†，Wang Zhanjun ，Shen Jinyua （a.SchoolofclecofUi China）

Abstract：Asanewdistributed machine learning（DML）framework，FLcanefectively protectthelocaldata privacyof participantsbyaggregatingthelocalmodelparametersuploadedbyparticipantstotraintheglobalmodel.However，theselocal model parameters still have the risk of revealing the privacy of participants. As a critical step in FL ， the privacy-preserving aggregation （ PPAgg ）mechanism has become a key technology for addressing privacy issues.This paper first introduced the concept of FL and its associated privacyand security threats.It then highlighted the core ideas and key proceduresof PPAgg mechanisms by integrating existing privacy-preserving techniques inFL.This paper analyzed typical PPAgg mechanisms indetail，focsingontheirprimaryadvantagesandlimitations，aswellasthespecificapplicationscenarioswhereheyweresuitable.Finall，this papersummarized andanalyzed curent PPAgg mechanisms，explored emerging challenges anddevelopment directions for FL ，and proposed potential solutions to address these issues.

Key words：federated learning（FL）；privacy-preserving；aggregation mechanism；blockchain；securemulti-partycomputation

0 引言

机器学习（ML）作为实现人工智能的一种重要手段，利用收集的原始数据训练特定场景下的数据模型，以达到使机器模拟人类行为的目标。近年来，随着机器学习算法的广泛应用和对数据隐私保护的日益关注，不同数据拥有者协同训练ML模型，并同时保护其数据隐私的方案引起了学术界和工业界的广泛关注。为了实现隐私保护的机器学习， McMahan 等人提出了联邦学习架构，并将其广泛应用于物联网[2]和医疗保健[3]等场景。标准的联邦学习系统允许不同参与者利用本地数据单独进行模型训练，并将训练后的本地模型参数上传至服务器，再由服务器聚合这些参数，构建FL的全局模型。然而，攻击者只需获取部分模型参数，利用推理攻击或模型反演攻击等方法，就可以重建用户的原始数据，或者构造出一个类似的模型[4]。为了保护参与者模型参数的隐私安全，学者们使用隐私保护技术[5＼～7]，构造隐私保护聚合（privacy-preserving ag-gregation，PPAgg）机制，即以隐私保护的方式聚合参与者的本地模型。常见的隐私保护技术有同态加密（homomorphic en-cryption，HE）[5]、安全多方计算（secure multi-party computa-tion，SMPC）[6]和差分隐私（differential privacy，DP）[7]等。

与传统的分布式隐私保护机器学习（privacy-preservingmachinelearning，PPML）不同，隐私保护联邦学习（privacy-preservingfederatedlearning，PPFL）需要考虑参与者的异构性[8]，例如，不同的参与者往往拥有不同的算力和带宽。此外，PPFL系统中的安全和隐私问题可能来自内部人员或外部人员，也可能来自单个敌手或多个敌手。敌手可以是半诚实的，即试图在不偏离FL聚合机制的情况下获取其他诚实参与者的隐私；……