基于矩阵映射的拜占庭鲁棒联邦学习算法
2021-11-05张方佼王文鑫张健毅
计算机研究与发展 2021年11期
关键词:模型
刘 飚 张方佼 王文鑫 谢 康 张健毅,3
1(北京电子科技学院 北京 100070) 2(信息网络安全公安部重点实验室(公安部第三研究所) 上海 200031) 3(中国科学院网络测评技术重点实验室(中国科学院信息工程研究所) 北京 100093) (liubiao@besti.edu.cn)
虽同样采用了服务器端与客户端配合的训练模式,作为近年来研究热点的联邦学习(federated learning)[1-2]与分布式学习还是存在较大不同,这些不同主要包括4个方面:1)参数服务器收集客户端的本地模型来训练全局模型,而不是直接训练每个客户端的数据;2)客户端训练数据分布是异构的;3)参数服务器无法控制客户端的训练过程;4)客户端参与训练存在不确定性.随着隐私法规——通用数据保护条例(GDPR)的颁布以及社会各界对信息安全的重视,联邦学习因为它出色的隐私保护能力而受到人们越来越多的关注、信任和应用.
联邦学习最早的聚合算法是由谷歌提出的FedAvg[2],而如果训练过程中存在拜占庭客户端时,基础算法FedAvg容易受到攻击.在联邦学习领域,拜占庭客户机主要有2个目的:1)破坏训练过程从而防止全局模型收敛,这称为阻碍收敛攻击[3](即非定向攻击);2)在保证全局模型收敛的基础上,诱使全局模型对攻击者选择的子任务进行错误分类,这称为后门攻击[3](即定向攻击).拜占庭式客户端可以使用数据投毒攻击来破坏客户端的本地训练数据,或者使用模型投毒来篡改客户端的更新模型.比如文献[4]提出的PGD-edge攻击首先使用数据投毒攻击将原本的客户端数据……
登录APP查看全文
