郭书杰

(大连东软信息学院 智能与电子工程学院,大连 116023)

基于神经网络的深度学习技术已经被成功地应用于计算机视觉[1,2]、语音识别[3]和自然语言处理[4−9]等多个领域.特别是在机器视觉中的图像识别方面,深度学习技术取得了非常大的成就.尽管如此,深度学习技术自身也存在着比较严重的安全问题.Szegedy 等[10]发现在使用深度学习技术进行图像识别时,只要改动图片上的一个像素,就能让神经网络识别错误,甚至还可以诱导它返回特定的结果.在自动驾驶、人脸识别、语音识别、CT 影像分类等典型的深度学习应用中,错误的识别结果将会带来非常严重的后果.因此很多研究者开始关注深度学习模型的抗干扰能力的问题.

为了检验深度学习模型的抗干扰性和鲁棒性,研究人员提出了对抗样本的概念.所谓对抗样本就是在一个已经正确分类的样本中,添加细微干扰形成的新样本,该样本可以使训练好的模型以较高的置信度给出错误的分类结果[11].国内外研究者提出了多种对抗样本生成方法[12-19].按照不同的规则,可以将这些方法划分成不同种类.按照其生成方式和原理的不同,可以分为部分像素添加扰动和全像素添加扰动两类.按照生成过程是否需要知道模型内部结构与参数,可以分为白盒方法和黑盒方法.需要知道模型内部机构与参数的生成方法叫白盒方法,反之叫黑盒方法.根据对抗规则的不同又可以分为有目标对抗和无目标对抗.有目标对抗是指对抗样本需要使模型给出某种指定的错误类别；……