APP下载

深度学习数据窃取攻击在数据沙箱模式下的威胁分析与防御方法研究

2021-12-08潘鹤中韩培义向夏雨段少明庄荣飞刘川意

通信学报 2021年11期
关键词:数据处理方法模型

潘鹤中,韩培义,向夏雨,段少明,庄荣飞,刘川意,3

(1.北京邮电大学网络空间安全学院,北京 100876;2.哈尔滨工业大学(深圳)计算机科学与技术学院,广东 深圳 518055;3.鹏城实验室网络空间安全中心,广东 深圳 518066)

1 引言

人工智能(AI,artificial intelligence)时代,数据开放共享已然成为趋势,但是数据安全问题严重制约了大数据价值的发挥。数据沙箱模式,或称数据信托,是解决隐私保护和数据挖掘之间矛盾的有效方案[1-2]。数据沙箱分为调试环境和运行环境,数据拥有者将原始数据托管到运行环境中,并自动生成不包含隐私信息的样例数据。数据分析人员在调试环境中根据样例数据编写AI 模型训练代码,并将其发送到运行环境。该代码在运行环境中对全量的原始数据进行分析,最终得到高可用性的AI 模型,返还给数据分析人员。这一流程中,数据分析人员没有直接接触原始数据,又实现了AI 模型在全量数据上的充分训练。

然而随着AI 技术的发展,深度学习模型携带原始数据的能力逐渐增强。Carlini 等[3-4]从理论上证明了参数量庞大的语言模型会存储和泄露训练数据。基于这一观点,国内外专家学者对深度学习模型窃取训练数据的攻击手段展开了研究,文献[5-7]等都属于此类攻击。这类攻击可以作用于数据沙箱的运行环境,主动在深度学习模型中编码原始数据。例如Song 等[7]提出可以通过在数据处理过程中生成恶意训练数据,或是在模型训练过程中引入恶意正则化项来窃取数据。这类攻击手段能够有效绕过数据沙箱对训练数据的隐私保护机制。……

登录APP查看全文

猜你喜欢

数据处理方法模型
一半模型
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
重尾非线性自回归模型自加权M-估计的渐近分布
3D打印中的模型分割与打包
用对方法才能瘦
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
四大方法 教你不再“坐以待病”!
捕鱼
基于POS AV610与PPP的车辆导航数据处理