APP下载

基于时空特征的语音情感识别模型TSTNet

2021-12-14薛均晓黄世博王亚博张朝阳

郑州大学学报(工学版) 2021年6期
关键词:特征提取特征情感

薛均晓, 黄世博, 王亚博, 张朝阳, 石 磊

(1.郑州大学 软件学院,河南 郑州 450002; 2.郑州大学 网络空间安全学院,河南 郑州 450002; 3.郑州大学 信息工程学院,河南 郑州 450001)

0 引言

语音情感识别是人机交互领域的重要技术,在安全驾驶、采集病人情绪状态、结合情感辅助发言等方面都有广泛的应用。现实生活中,由于语音多样性、环境多样性,以及说话者的说话习惯、性别、语气、音调、语速等问题,导致语音的情感识别成为一项具有挑战性的工作。

近年来,随着深度学习的迅速发展,研究人员在语音情感识别领域运用深度学习技术,取得了很好的成果[1-4],但仍存在一些需要改进的地方:①对于语音的分析中并没有全部关注到语音的空间特征、时序特征以及前后语义关系;②对于语音样本长度参差不齐的问题,填充长度过长会导致每个样本中增添很多冗余信息,过短则会导致数据丢失。

针对上述问题,本文提出一种基于时空特征的语音情感识别方法。该方法由空间特征提取模块、时间特征提取模块以及特征融合模块组成。空间特征提取模块关注语音的空间特征,时间特征提取模块关注语音的时间特征和语音信号中前后语义关系。为了解决语音长度不一导致填充时信息丢失或冗余问题,模型采用3种补零填充长度得到3个不同尺度的语谱图,分别提取它们的空间特征、时间特征以及前后语义关系,在特征融合模块中将提取得到的3个特征向量融合到一起。……

登录APP查看全文

猜你喜欢

特征提取特征情感
如何在情感中自我成长,保持独立
失落的情感
如何表达“特征”
情感
基于Gazebo仿真环境的ORB特征提取与比对的研究
不忠诚的四个特征
如何在情感中自我成长,保持独立
一种基于LBP 特征提取和稀疏表示的肝病识别算法
基于MED和循环域解调的多故障特征提取
线性代数的应用特征