张 维,易 平

上海交通大学网络空间安全学院 上海 中国 200240

1 引言

深度学习模型在众多计算机视觉领域[1-3],取得非常出色的效果。人工智能算法已经渗透到了我们的日常生活中的方方面面,例如人脸识别系统,城市大脑等等。但是,深度学习算法极其容易被对抗样本攻破[4,36],通过在图像输入中,添加极其微小的扰动,就可以改变深度学习模型的决策。在一些对于安全性要求非常高的场景下,例如自动驾驶的感知,对抗样本的危害显得尤为明显,Eykholt等人[5]提出了一种通用的攻击框架,通过给路标添加扰动,使得机器将“右转”标识识别为“停止”标识,将“停止”标识识别为“限速”标识等等,这类标识在不同的拍摄角度下,都可以完成对相机感知系统的攻击,如下图1所示。对抗样本在自动驾驶场景下,会带来难以估量的损失,因此,防御对抗样本对于深度学习算法的应用具有重大价值。

图1 交通场景下的对抗样本Figure 1 Adversarial examples in traffic scenarios

因为对抗样本在深度学习领域潜在的安全风险,近些年来,对抗样本一直是学术界的研究重点,涌现了大批关于攻击与防御的工作。目前最有效的防御对抗样本的方法是对抗训练[6],对抗训练的思想非常简单但也非常有效,即在训练中将生成的对抗样本加入到训练集中,从而对网络进行迭代优化,将 min-max的优化结合到训练中。但是对抗训练的劣势也非常明显,生成强大的对抗样本需要多次迭代,即神经网络需要多次的反向传播,导致训练的代价大大增加,从训练时间长来看,对抗训练一般是正常训练的数倍,一定程度上限制了对抗训练的应用。……