APP下载

基于特性分流的多模态对话情绪感知算法

2025-08-03任钦泽袁野傅柯婷付军秀徐康刘娜

计算机应用研究 2025年6期
关键词:复数模态情绪

doi:10.19734/j. issn.1001-3695.2024.12.0466

Multimodal dialogue emotion perception algorithm based on feature divergence

Ren Qinze a,b ,Yuan Yea,b,Fu Ketinga,ʰ,Fu Junxiua,ʰ,Xu Kanga,b,Liu Na,bt (a.Institutefcneelie,ooflheamp;,Ueitffoneamp;oi ,China)

Abstract:Multimodalemotion perceptioniscrucialfor monitoring personal healthand providing medicalcareinthe fieldof proactive health.Currnt multimodal dialogue emotionperceptiontechnologiesfacechallenges ifusing informationacross differentmodalities,particularlyincapturinglocalrelationshipsbetweenmodalies.Theproposedmultimodalfusionalgorithm basedonfeaturediversion,MEPAD(multimodalemotionperceptionalgorithmwith featurediversion),addressedthesechallenges bycapturing global information indialogues using graphneural networks and integrating homogeneous and specific features across modalities through thehypercomplex number system and pairwise feature fusion mechanisms.Experiments on he IEMOCAP and MOSEI datasets demonstratethat MEPAD significantlyoutperforms existing methodsin multimodal dialogue emotionperceptiontasks,highlightingitsefectiveessandpotentialinhandlingomplexemotionaldata.Thisresearchoffs newinsights for theapplication of multimodal emotion perception technology in proactive health.

Key words:multimodal emotionrecognition;graph neural networks;hypercomplex number system;pairwisefeature fusion; dialogue emotion perception

0 引言

情绪感知是人类交流中的一个关键组成部分,在主动健康领域,对话者情绪变化也可以作为评估人类健康信息监控的重要指标[1]。主动健康强调通过个体的主动参与和自我管理来提升整体健康水平,而情绪感知在这一过程中发挥着重要作用。因此,为了更有效地进行健康风险预警,分析对话中的情绪感知任务显得尤为必要[2]

在人类交流过程中,表达情绪的方式多种多样,包括面部表情、声音、姿态、文本及图像等。近年来,对话中的情感识别(emotionrecognitioninconversations,ERC)任务逐渐受到关注,通过利用对话中的多模态信息来检测说话人的情绪状态,已经吸引了广泛的关注,并逐步应用于健康监控、医疗陪护、对话生成等多个实际场景。本研究聚焦于主动健康理念下的医疗陪护场景应用,通过多模态情绪识别技术,致力于精准地感知对话中的情绪信息,以此即可根据情绪变化提供相应的对话信息,旨在全方位提升使用者的交互体验与心理舒适度,助力打造更加人性化、智能化的医疗陪护模式。具体的情绪对话示例如图1所示。

图1情绪对话示例Fig.1Examples of emotional dialogue

目前,基于多模态的ERC任务已经取得了显著进展。利用不同模态间的依赖性与互补性来提升情感识别精度已成为该领域的新趋势。相比单模态ERC任务,多模态情感识别能够充分利用各个模态之间的互补信息,从而实现更高准确性和鲁棒性。然而,多模态数据引人后也带来了新的挑战:如何有效融合不同模态特征,以及如何建立各个模态间的隐含联系,成为多模态ERC任务亟待解决的问题[3]

登录APP查看全文

猜你喜欢

复数模态情绪
高考命题视角下的复数复习策略
复数三角形式视角下的数学创新题探究
学科核心素养下复数三角形式的教学实践与思考
小情绪
小情绪
小情绪
基于HHT和Prony算法的电力系统低频振荡模态识别
情绪认同
由单个模态构造对称简支梁的抗弯刚度
多模态话语模态的协同及在外语教学中的体现