陈港　陈杰　张石清　赵小明

摘  要：目前，现有的语音情感识别研究主要考虑在实验环境下收集语音数据进行情感识别，并没有考虑现实世界中存在各种噪声的影响。为此，考虑到噪声的影响，提出一种面向对抗攻击的鲁棒性语音情感识别方法，用于实现带有噪声的情感语音的分类。首先采用快速梯度符号法生成对抗数据，然后将真实数据和对抗数据进行混合，再将混合数据输入防御模块中进行模型的对抗攻击训练。最后，在IEMOCAP数据集上的实验结果表明，该方法用于语音情感识别能有效提高深度学习模型的鲁棒性和识别准确率。

关键词：语音情感识别;鲁棒性;对抗攻击

中图分类号：TP391     文献标识码：A

A Robust Speech Emotion Recognition Method for Confrontational Attacks

CHEN Gang1，2， CHEN Jie2， ZHANG Shiqing2， ZHAO Xiaoming1，2

（1. Faculty of Mechanical Engineering & Automation， Zhejiang Sci-Tech University， Hangzhou 310018， China;

2. Institute of Intelligent Information Processing， Taizhou University， Taizhou 318000， China）

904699855@qq.com; 1424179695@qq.com; tzczsq@163.com; tzxyzxm@163.com

Abstract： At present， the existing research on speech emotion recognition mainly considers speech data collection in an experimental environment for emotion recognition， without considering the influence of various noises in the real world. For this reason， considering the influence of noise， this paper proposes a robust speech emotion recognition method for confrontational attacks to realize classification of emotional speech with noise. Firstly， fast gradient sign method is used to generate confrontation data which is mixed with the real data. Then the mixed data is input into the defense module to conduct confrontation attack training of the model. Finally， experimental results on the IEMOCAP dataset show that the method used in speech emotion recognition can effectively improve the robustness and recognition accuracy of the deep learning model.

Keywords： speech emotion recognition; robustness; confrontational attack

1   引言（Introduction）

语音情感识别技术[1]一直是人机交互领域中重要的研究热点，但大量的语音情感识别方法主要考虑在实验环境下对语音进行情感识别，并没有考虑现实世界中存在各种噪声的影响，因此，计算机在噪声的影响下准确地识别出人类的情感[2]，有助于实现其与人类进行友好的交互。

为了推动语音情感识别技术的发展，研究者们在每年举办一届的INTERSPEECH会议[3]中进行先进的学术交流和经验分享。最早的语音情感识别方法主要是根据语音信号设计手工特征[4-6]，例如音律特征、谱特征、音质特征及特别设计的声学特征集[7-8]，再将其输入简单的分类器进行相应的情感分类。如NWE等人[9]提出采用短时对数频率功率系数（Log Frequency Power Coefficients， LFPC）表示语音信号，再使用离……