融合生成对抗网络与时间卷积网络的普通话情感识别
2023-10-08李海烽张雪英段淑斐贾海蓉HuizhiLiang
李海烽,张雪英,段淑斐,贾海蓉,Huizhi Liang
(1.太原理工大学 电子信息与光学工程学院,山西 太原 030024;2.纽卡斯尔大学 计算机学院,泰恩-威尔 泰恩河畔纽卡斯尔 NE1 7RU)
情感识别(emotion recognition, ER)是人机交互的重要接口[1],其目的是让计算机具备理解和识别情感的能力.融合声学与发音特征转换的ER是情感研究领域中的重要分支,涉及情感数据库搭建、预处理、特征提取、特征转换和分类识别算法等问题.具有丰富情感信息的多模态数据库、高精度的特征转换算法和有效的分类识别算法是提升ER系统性能的重要部分.
在情感研究领域,根据被试者表达信息的多样性构建的适合不同研究方向的数据库有CHEAVD[2]、NNIME[3]和IEMOCAP[4]等.每个数据库都存在局限性,只有选择与研究方向契合的数据库,研究工作才能事半功倍.在对人体发音机制的研究中,学者们发现声音和发音器官具有很强的关联性,即人体发出的部分声学信号是由发音器官独特的运动轨迹产生的[5].正向映射[6]和反向映射[7]是声音与发音器官的关联性研究中较深入的2类.正向映射指由发音器官的发音特征转换出声学特征,反向映射是指由声学特征转换出发音特征.深度学习已经在探索正向与反向映射的研究中被应用到不同的领域:Ling等[8]通过隐马尔科夫模型(hidden Markov model, HMM)探究发音特征到声学特征的联合分布关系,将正向映射应用到语音合成研究中;Li等[9]提取梅尔倒谱频率系数(Mel-frequency cepstrum cofficients, MFCC),通过高斯混合模型(Gaussian mixture model, GMM)探究声学到发音特征的关联性,将……