王粤晗 孙 磊 郭 松 戴乐育

(信息工程大学密码工程学院 河南 郑州 450001)(河南省信息安全重点实验室 河南 郑州 450001)

0 引 言

随着神经网络应用的普及，深度学习的安全威胁严重影响人们的正常生活。如有未授权用户绕过云端防御机制非法访问云环境下深度神经网络模型，利用云服务的API接口获取深度神经网络模型的初步信息(包括模型参数)带来次生威胁。

通过对深度神经网络模型进行逆向分析，未授权用户可能复制该深度神经网络模型进行滥用。次生安全威胁还包括攻击者能够得到模型内部的隐私数据，如病人医疗数据、用户面部识别数据等[1-2]。

深度神经网络模型的常见安全威胁按照其运行阶段可以分为训练阶段的安全威胁和预测阶段的安全威胁。

在训练阶段，未授权用户通过访问训练数据的方式在训练数据集中注入恶意数据或是对原有训练数据修改、删除，改变训练数据的原有分布，令模型在预测时使结果出错，这种攻击手段就被称为投毒攻击。而且一旦投毒成功，在预测阶段进行防御是十分困难的。

在预测阶段，未授权用户通过对图片增加肉眼难以辨别的轻微扰动欺骗神经网络，使目标模型预测结果出错。这种增加了轻微扰动的图片就被称为对抗样本，该种攻击手段被称为对抗样本攻击。

另一种在预测阶段的常见攻击手段被称为模型提取攻击。这种攻击能够对目标模型进行复制，并尝试恢复目标模型在训练中使用的数据信息，涉及对模型知识产权及用户隐私的威胁。……