何正保　黄晓霖

摘 要：随着深度学习和神经网络的不断发展，深度神经网络已经广泛应用于多个领域，其安全性也日渐受到人们的关注。对抗攻击和对抗样本作为神经网络最大的威胁之一，近年来成为研究的热点。同时，对抗攻击及其防御的研究也对神经网络认知能力的提升具有重要的意义。本文围绕对抗攻击及其防御，介绍了基本原理和一些经典算法，并就对抗攻击的意义与作用、发展趋势进行了阐述。

关键词： 深度学习;神经网络;对抗攻击;对抗样本;防御算法; 人工智能

中图分类号：TJ760;TP18文献标识码：A文章编号： 1673-5048（2020）03-0011-09

0 引言

随着深度学习的发展，深度神经网络已经广泛应用于图像识别[1-3]、医学影像分析[4-5]、自动驾驶[6-7]等领域，并且在许多复杂任务上的表现都超过了人类水平。但神经网络同样有很多问题，阻碍其进一步发展与应用。神经网络在对抗攻击下的脆弱性就是其中一个重要的问题，例如，对输入图片添加人眼不可见的扰动，就能使分类网络以高置信度将修改后的图片错误分类[8-10]。神经网络的脆弱性制约了其在复杂、未知、多变环境的应用，也制约了其在需要高可靠性的任务中的推广。这种脆弱性与神经网络在认知能力方面的缺乏紧密相关。近年来，针对研究神经网络弱点的对抗攻击及其防御，逐渐成为新的研究重点，其目的既在于增强神经网络的可靠性，也在于通过对攻击及其防御的迭代研究，提升神经网络的认知能力。……