陆兵　顾苏杭

摘   要：真实数据集中存在的对抗样本一方面易导致分类器取得较差分类结果，另一方面如果能够被合理利用，分类器的泛化能力将得到显著提高。针对现有大部分分类算法并没有利用对抗样本训练分类模型，提出一种攻击标签信息的对抗分类算法（ACA）。该方法从给定数据集中选取一定比例样本并攻擊所选取的样本标签使之成为对抗样本，即将样本标签替换成其他不同类型的标签。利用支持向量机（support vector machine，SVM）训练包含对抗样本的数据集，计算生成的SVM输出误差对于输入样本的一阶梯度信息并嵌入到输入样本特征中以更新输入样本。再次利用SVM训练更新后的样本以生成对抗的SVM（A-SVM）。原理分析与实验结果表明，一阶梯度信息不仅提供了一种分类器输出与输入之间的正相关关系，而且可提高A-SVM的实际分类性能

关键字：分类器;对抗样本;标签攻击;支持向量机

中图法分类号：TP391.4                                      文献标识码：A

Abstract： As for the adversarial data samples which indeed exist in real-world datasets，on the one hand，they can mislead data classifiers into correct predictions which results in poor classification. On the other hand，appropriate applications of the adversarial data samples can distinctly improve the generalization of data classifiers. However，most of existing classification methods do not take the adversarial data samples into account to build corresponding classification models. An adversarial classification algorithm （ACA） based on attacks on the labels of data samples which aims to obtain outperformed classification performance by learning the adversarial data samples is proposed. In a given dataset，a certain percentage of data samples are chosen as adversarial data samples，namely the labels of these chosen data samples are substituted by the other labels which are different from the original labels of the chosen data samples. A SVM model can be generated by using the support vector machine（SVM） algorithm to training the given dataset which contains the adversarial data samples. And the first-order gradient information on the output error of the generated SVM with respect to the input samples can be computed. The input samples can be updated by embedding the first-order gradient information into the original input samples. Consequently，adversarial SVM （A-SVM） can be generated by using the SVM alg-orithm again to train the updated input samples. In terms of theoretical analysis and experimental results on UCI real-world datasets，the mathematically computed first-order gradient information not only provided a positive relation between the outputs and the inputs of a classifier，but also indeed can improve the actual classification performance of A-SVM.

Key words：classifiers;adversarial data samples;attacks on labels;support vector machine（SVM）

数据分类技术一直是机器学习、人工智能等领域的研究热点，已广泛应用于图像识别、自然语言处理、语音识别、智能交通及医疗辅助诊断等[1-4]。数据分类技术通过训练或者学习给定的数据样本建立数据分类模型，从而对未知的数据样本进行预测和识别[5-7]。然而，真实数据集中会存在不易被察觉的扰动被称作对抗样本[8-11]，这些对抗样本易导致所训练的数据分类器在未知样本上的错误分类，从而大大降低分类器的实际分类性能。因此，如何有效处理并利用数据集中存在的对抗样本训练数据分类器已逐步成为数据分类技术的重要研究问题之一。

Mosca等[8]將包含扰动的样本输入神经网络并利用输出的结果对当前输入样本进行一阶求导，解得的一阶梯度信息被嵌入到当前输入样本特征中，更新后的样本再次被输入到神经网络进行训练，由此生成的神经网络泛化能力得到明显提高。文章[9]将微小且合理的扰动加入到样本特征中人为生成对抗样本，训练包含对抗样本的训练集生成的深度神经网络（deep neural network，DNN）可有效地应用于恶意软件检测。马玉琨等[10]针对DNN应用于活体检测时性能易受对抗样本干扰，从样本特征维度角度考虑将对抗样本干扰集中在少数几个样本特征维度，从而提出一种最小扰动维度的活体检测对抗样本生成技术，该技术只需要对样本少数几个特征维度作扰动便可生成对抗样本。Gu等[11]在研究对抗样本结构的基础上，在DNN输入层中将扰动加入到样本特征使部分样本成为对抗样本，训练生成的深度感知网络可很好地抑制样本噪声对分类性能带来的影响。在实际数据分类的过程中，由于每个真实数据集都会包含对抗样本，因此本文从合理利用对抗样本的落脚点出发，结合支持向量机提出一种攻击标签信息的鲁棒分类算法（ACA）。

不同于文章[8-11]所提的攻击样本特征的对抗样本生成方法，即将合理的样本扰动直接加入到样本特征中，将通过攻击样本的标签生成对抗样本，即将样本标签替换成其他不同类型的标签。接着利用SVM训练包含对抗样本的训练集，计算首次训练生成的SVM分类器输出误差对所有训练样本的一阶梯度信息并将该信息嵌入到训练样本特征中以更新训练样本，并再次利用SVM训练更新后的所有训练样本，以此来提高分类器的实际分类性能。

表4给出了当公式（5）中的参数 取不同值时，A-SVM在4个真实数据集上的实际分类性能，此时固定公式（7）中 的值为 。分析表4提供的实验结果可知，参数 的最佳取值为0.001，随着 取值增大，A-SVM分类精度逐步降低。根据大量实验结果表明，较大的 值会严重破坏原有样本特征空间，利用ACA算法训练更新后的样本生成的A-SVM识别保持原有样本特征结构的新样本能力减弱。表4有力证明了本文所提ACA算法合理利用对抗样本生成A-SVM分类器的有效性。

3   结束语

针对真实数据集中都会存在对抗样本，从攻击标签信息的角度人为生成对抗样本，将合理利用对抗样本演算出的一阶梯度信息嵌入到原有样本特征中并重新训练更新后的样本生成对抗的A-SVM。在真实数据集上实验结果与参数分析结果表明了本文所提ACA算法的有效性。由于算法1步骤1中从训练样本中随机选取较小比例样本以生成对抗样本的过程带有随机性，因此，在接下来的工作中将会优化如何合理地从训练样本选取样本并生成对抗样本[9]。另外，根据公式（5），本文将计算的一阶梯度信息直接嵌入到原有样本特征中以更新样本，如何优化样本特征更新的过程也是未来工作的重点研究内容之一[8]。

参考文献

[1]    万源，李欢欢，吴克风，等. LBP和HOG的分层特征融合的人脸识别[J]. 计算机辅助设计与图形学学报，2015，27（4）： 640—650.

[2]    奚雪峰，周国栋. 面向自然语言处理的深度学习研究[J]. 自动化学报，2016，42（10）： 1445—1465.

[3]    王登，苗夺谦，王睿智. 一种新的基于小波包分解的EEG特征抽取与识别方法研究[J]. 电子学报，2013，41（1）： 193—198.

[4]    曾志，吴财贵，唐权华，等. 基于多特征融合和深度学习的商品图像分类[J]. 计算机工程与设计，2017，38（11）： 3093—3098.

[5]    ZHOU T，CHUNG F L，WANG S T. Deep TSK fuzzy classifier with stacked generalization and triplely concise interpretability guarantee for large data[J]. IEEE Trans. Fuzzy Syst.，2017，25（5）： 1207—1221.

[6]    DONG A，CHUNG F L，DENG Z et al. Semi-supervised SVM with extended hidden features[J]. IEEE Trans. Cybern.，2016，46（12）： 2924—2937.

[7]    HE X，ZHANG C，ZHANG L et al. A optimal projection for image representation[J]. IEEE Trans. Pattern Anal. Mach. Intell.，2016，38（5）： 1009—1015.

[8]    MOSCA A，MAGOULAS G D. Hardening against adversarial examples with the smooth gradient method[J]. Soft Computing，2018，22（10）： 3203—3213.

[9]    KATHRIN G，NICOLAS P，PRAVEEN M，et al. Adversarial perturbations against deep neural networks for malware classification[J]. Cryptography and Security （cs.CR），arXiv： 1606.04435[cs.Cr].

[10]  馬玉琨，毋立芳，简萌，等. 一种面向人脸活体检测的对抗样本生成算法[J]. 软件学报，2018，DOI：10.13328/j.cnki.jo s.005568.

[11]  GU S X，RIGAZIO L. Towards deep neural network architectures robust to adversarial examples[C]// International Conference on Representation Learning，2014.

[12]  LOWD D，MEEK C. Adversarial learning [C]// Eleventh ACM SIGKDD International Conference on Knowledge Discovery in Data Mining，ACM，2005：641—647.

[13]  VAPNIK V N. Statistical learning theory [M]. New York： Wiley，1998.

[14]  TONG S，KOLLER D. Support vector machine active learning with applications to text classification[J]. Journal of Machine Learning Research，2002，2： 45—66.

[15]  CHANG C C，LIN C J. LIBSVM： A library for support vector machines[J]. ACM Trans. Intell. Syst. Technol.，2011，2（3）： 27：1—27：27.

[16]  HO T K. The random subspace method for constructing decision forests[J]. IEEE Trans. Pattern Anal. Mach. Intell.，1998，20（8）： 832—844.

[17]  OSHIRO T M，PEREZ P S，BARANAUSKAS J A. How many trees in a random forest[C]// International Conference on Machine Learning and Data Mining in Pattern Recognition，2012.

[18]  KELLER J M，GRAY M R，GIVENS J A. A fuzzy K-nearest neighbor algorithm[J]. IEEE Trans. Syst.，Man，Cybern.，1985，SMC-15（4）： 580—585.

[19]  QUINLAN J R. Induction of Decision Trees[J]. Machine Learning，1986，1（1）： 81—106.

[20]  RUSSEL S，NORVIG P. Artificial intelligence： a modern approach （2nd ed.）[M]. Prentice Hall，2003.

[21]  FRANK A，ASUNCION A. UCI machine learning repository. [Online]. Available： http：//archive.ics.uci.edu/ml，2010.

[22]  ALCAL?-FDEZ J，FERN？NDEZ A，LUENGO J，et al. KEEL data-mining software tool：data set repository，integration of algorithms and experimental analysis framework[J]. Journal of Multiple-Valued Logic and Soft Computing，2011，17（2-3）：255—287.