申自强

摘 要：情感分析是目前人工智能与社交媒体研究的热门领域，具有重要的理论意义和实用价值。为了解决由于社交媒体具有随意性、情感主观性等特点造成文本与图像之间的情感互斥问题，提出一种基于图文融合的跨模态社交媒体情感分析方法。该方法不仅可以学习到文本与图像之间的情感互补特性，而且通过引入模态贡献计算，可避免情感表达不一致问题。在Veer和Weibo数据集上的实验结果显示，相比于现有融合方法，采用该方法的情感分类准确率平均提高了约4%。基于图文融合的跨模态社交媒体情感分析方法能够很好地处理模态间的情感互斥问题，具有较强的情感识别能力。

关键词：社交媒体;情感分析;图文融合;贡献计算;跨模态

DOI：10. 11907/rjdk. 181783

中图分类号：TP301文献标识码：A文章编号：1672-7800（2019）001-0009-05

Abstract： Sentiment analysis is a hot field in artificial intelligence and social media research， which has a very important theoretical and practical value. In order to solve the problem of emotional mutual exclusion between texts and images caused by the randomness and emotional subjectivity of social media， a cross-modal social media sentiment analysis method based on the fusion of image and text is proposed. This method can not only learn the emotional complementarity between texts and images， but also avoid the problem of the inconsistency of emotional expression by introducing the modal contribution calculation. Experimental results on Veer and Weibo datasets show that this method is about 4% more accurate than the existing fusion methods. The cross-modal social media sentiment analysis method based on the fusion of image and text can deal with the problem of modal mutual emotional exclusion well， and has strong recognition ability.

Key Words： social media; sentiment analysis; fusion of image and text; contribution calculation; cross-modal

0 引言

隨着互联网的发展与普及，公众参与社会活动的机会也逐渐增加。如今人们不仅从网上获取信息，而且积极参与信息传播和舆论表达，如QQ、微信、微博、百度贴吧、知乎等社交媒体已成为人们日常生活中不可或缺的一部分，也是互联网信息传播的重要途径。每天，数以亿计的人们在这些社交媒体平台上发布自己的心情、状态、观点及评价等数据信息[1]。对这些媒体数据进行有效的情感分析可以帮助企业机构掌握用户对于某产品的评价，了解公众的情感与意见倾向，为产品改进与商业决策提供科学依据[2]。此外，对于政府机关，分析公众在某个事件或重大热点问题上持有的态度有利于政府领导体察民情，从而及时、有效地进行舆论引导，积极主动地预防各种突发事件和危机[3]。……