多模态的情感分析技术综述
2021-07-22刘继明张培翔张伟东
刘继明,张培翔,刘 颖,3,4,张伟东,4,房 杰,3,4
1.西安邮电大学 通信与信息工程学院,西安 710121
2.西安邮电大学 图像与信息处理研究所,西安 710121
3.陕西省无线通信与信息处理技术国际合作研究中心,西安 710121
4.西安邮电大学 电子信息现场勘验应用技术公安部重点实验室,西安 710121
情感是生物对外界价值关系产生的主观反应,也是生物智能的重要组成部分[1]。在日常生活中,人们一般都是通过面部表情来获取他人的情感状态,但是某一些情况下,人们也会根据语气、肢体动作等其他一些细微的变化来获取他人的情感状态。在服务型机器人、审讯、娱乐等方面需要通过计算机的帮助来获得人类准确的情感状态,因此情感分析体现了越来越重要的研究价值。
情感分析的理论和算法构建涉及人工智能(artificial intelligence,AI)、计算机视觉(computational vision,CV)和自然语言处理(natural language processing,NLP)等多个方面,是一个多学科交叉的研究领域。早在20 世纪,Ekman 等人[2]就将人类的情感分为愤怒、厌恶、恐惧、快乐、悲伤和惊讶六种基本情感,奠定了当今表情识别的基础。在后来的研究中,蔑视也被认为是人类的基本情感之一。
在现有的文献中,主要根据面部表情、文本以及语音中的一种模态来对情感进行分析。在面部表情识别(facial expression recognition,FER)中,传统的方法主要有基于几何和外观的方法。基于几何的方法虽然简单易行,但是容易忽略局部细节信息。基于外观的方法主要是根据面部的纹理变化来判断情绪的变化,具有良好的光照不变性。在面部的纹理特征提取中,局部二值模式(local binary pattern,LBP)和Gabor 小波因具有较好的性能而被广泛应用。……