基于特性分流的多模态对话情绪感知算法
2025-08-03任钦泽袁野傅柯婷付军秀徐康刘娜

doi:10.19734/j. issn.1001-3695.2024.12.0466
Multimodal dialogue emotion perception algorithm based on feature divergence
Ren Qinze a,b ,Yuan Yea,b,Fu Ketinga,ʰ,Fu Junxiua,ʰ,Xu Kanga,b,Liu Na,bt (a.Institutefcneelie,ooflheamp;,Ueitffoneamp;oi ,China)
Abstract:Multimodalemotion perceptioniscrucialfor monitoring personal healthand providing medicalcareinthe fieldof proactive health.Currnt multimodal dialogue emotionperceptiontechnologiesfacechallenges ifusing informationacross differentmodalities,particularlyincapturinglocalrelationshipsbetweenmodalies.Theproposedmultimodalfusionalgorithm basedonfeaturediversion,MEPAD(multimodalemotionperceptionalgorithmwith featurediversion),addressedthesechallenges bycapturing global information indialogues using graphneural networks and integrating homogeneous and specific features across modalities through thehypercomplex number system and pairwise feature fusion mechanisms.Experiments on he IEMOCAP and MOSEI datasets demonstratethat MEPAD significantlyoutperforms existing methodsin multimodal dialogue emotionperceptiontasks,highlightingitsefectiveessandpotentialinhandlingomplexemotionaldata.Thisresearchoffs newinsights for theapplication of multimodal emotion perception technology in proactive health.
Key words:multimodal emotionrecognition;graph neural networks;hypercomplex number system;pairwisefeature fusion; dialogue emotion perception
0 引言
情绪感知是人类交流中的一个关键组成部分,在主动健康领域,对话者情绪变化也可以作为评估人类健康信息监控的重要指标[1]。主动健康强调通过个体的主动参与和自我管理来提升整体健康水平,而情绪感知在这一过程中发挥着重要作用。因此,为了更有效地进行健康风险预警,分析对话中的情绪感知任务显得尤为必要[2]
在人类交流过程中,表达情绪的方式多种多样,包括面部表情、声音、姿态、文本及图像等。近年来,对话中的情感识别(emotionrecognitioninconversations,ERC)任务逐渐受到关注,通过利用对话中的多模态信息来检测说话人的情绪状态,已经吸引了广泛的关注,并逐步应用于健康监控、医疗陪护、对话生成等多个实际场景。本研究聚焦于主动健康理念下的医疗陪护场景应用,通过多模态情绪识别技术,致力于精准地感知对话中的情绪信息,以此即可根据情绪变化提供相应的对话信息,旨在全方位提升使用者的交互体验与心理舒适度,助力打造更加人性化、智能化的医疗陪护模式。具体的情绪对话示例如图1所示。

目前,基于多模态的ERC任务已经取得了显著进展。利用不同模态间的依赖性与互补性来提升情感识别精度已成为该领域的新趋势。相比单模态ERC任务,多模态情感识别能够充分利用各个模态之间的互补信息,从而实现更高准确性和鲁棒性。然而,多模态数据引人后也带来了新的挑战:如何有效融合不同模态特征,以及如何建立各个模态间的隐含联系,成为多模态ERC任务亟待解决的问题[3]……p>
