刘海燕 吕涵

摘  要：随着人工智能的不断发展，机器学习在多个领域中取得了很好的应用效果。然而对抗样本的出现对机器学习模型的安全性造成了不容忽视的威胁，导致了机器学习模型的分类准确性降低。文章简述了对抗样本的起源、概念以及不同的对抗攻击方式，研究了典型的对抗样本生成方法以及防御方法，并在此基础上，展望了关于对抗攻击和对抗攻击防御的未来发展趋势。

关键词：机器学习;对抗样本;神经网络;对抗攻击

中图分类号：TP18      文献标识码：A文章编号：2096-4706（2021）22-0082-04

Abstract： With the continuous development of artificial intelligence， machine learning has achieved good application effects in many fields. However， the emergence of adversarial samples poses a serious threat to the security of machine learning models and reduces the accuracy of machine learning model classification. This paper briefly describes the origin， concept and different adversarial attack methods of adversarial samples， studies typical adversarial sample generation methods and defense methods， and on this basis， puts forward the future development trend of adversarial attack and adversarial attack defense.

Keywords： machine learning; adversarial sample; neural network; adversarial attack

0  引  言

人工智能技術促进了新兴技术的快速发展，它的重要驱动力之一就是机器学习算法，机器学习算法已广泛应用于各种领域，如自动驾驶，医疗和恶意软件检测等。但是研究表明，机器学习算法面临着一系列对抗性威胁，影响其安全性问题的关键就是对抗样本。对抗样本的产生使得机器学习模型的分类准确率大大降低，因此，研究对抗样本的生成及防御方法变得尤为重要。而且，由于多数机器学习算法是黑盒模型，其构造的分类模型具有不可解释性，进一步研究对抗样本对于解释机器学习尤其是深度学习算法有所帮助。

2013年，Szegedy等人[1]第一次提出了对抗样本的概念，Goodfellow等人[2]解释了对抗样本的基本原理，证明了高维线性是导致攻击效果显著的根本原因。此后，关于机器学习算法的安全性问题的研究越来越多，包括如何提高对抗攻击的成功率和分类模型的鲁棒性。……