郭可心，张宇翔

（中国民航大学计算机科学与技术学院，天津 300300）

0 引言

情感分析（Sentiment Analysis）作为社交媒体分析的前沿领域，被广泛应用于针对用户的产品营销、政治预测、股票预测和心理健康分析。近年来，随着移动摄影设备的广泛应用和网络环境的不断进步，图文并茂的用户评论在各个社交媒体平台和电子商务网站平台已经相当常见。多模态（Multimodal）的信息格局给公众舆情的产生和传播带来了不可忽视的冲击，也为情感分析的发展带来了巨大的挑战。

图文情感分析的难点在于不同模态信息本身的异质性及模态间关系的复杂性。为了更精简、更准确地提取和融合图文情感特征，研究者开始进一步探索图像特征与文本特征之间的关联性。受视觉问答（Visual Question Answering，VQA）、图像描述（Image Caption）、跨模态检索（Cross Modal Retrieval）等领域的影响，现有的图文情感分析方法倾向于发掘文本和图像之间的区域性对齐，通常使用空间注意力机制（Spatial Attention Mechanism）进行图文特征的融合［1］。

空间注意力机制最早提出于计算机视觉（Computer Vision，CV）领域的相关任务，原理是模拟人类视觉系统（Human Visual System，HVS）的信号处理机制，更多地关注与任务目标相关的视觉区域。目前空间注意力在各类图文结合的预测任务中已经被证实是有效的，现有的图文特征融合方法通常在文本特征与卷积神经网络（Convolutional Neural Network，CNN）的特征图之间进行空间注意力加权；然而不同于其他视觉特征，图像的情感特征具有复杂性和主观性的特点。心理学研究表明，不同的视觉特征会对人类的情感认知产生不同的影响［2］。……