范涛，吴鹏，王昊，凌晨

（1.南京大学信息管理学院，南京 210023；2.南京理工大学经济管理学院，南京 210094）

1 引言

舆论是网络舆情的空间载体，网民情感是舆论的观点和态度的一种体现[1]。在网络舆情事件中，网民情感对网络舆情事件的发展和演化有着极大的影响。例如，在新冠肺炎（COVⅠD-19）疫情中，对“武汉医生被训诫谈话”“武汉红十字会物资分发”等事件被彻查的背后，除了客观因素外，网民的负面舆论和由此折射出来的负面情感对事件的发展都有着推波助澜的作用。因此，如何在网络舆情事件中，自动准确识别网民情感是极其重要的。

目前，已有文献对网民情感分析做了相关研究。例如，Wu等[2]利用OCC（Ortony，Clore，Collins）模型建立文本情感标注规则，并利用卷积神经网络对文本进行情感分类；Zhang等[3]建立扩展的情感词典，结合机器学习模型对文本进行情感分类。从上述研究中可以看出，情感分析的对象皆为文本内容。然而，随着社交媒体平台的不断发展，文本不再是网民表达观点和态度的唯一内容载体。采用文本结合图片或者短视频，以一种多模态相结合的形式进行表达，已逐步成为网民倾诉心声的偏爱方式[4]。虽然通过融合不同模态的情感特征，能够有效地提升模型情感分析的性能，但这仍是一项具有挑战性的任务。

不同的模态本质上是相互异质的，然而在内部特征中，模态之间是相互关联的。如何有效地捕捉这样的交互关系，是多模态情感分析的关键，并且已有研究做了相关探索。……