孟祥瑞，杨文忠*，王 婷

（1.新疆大学信息科学与工程学院，乌鲁木齐 830046；2.新疆大学软件学院，乌鲁木齐 830046）

（*通信作者电子邮箱ywz_xy@163.com）

0 引言

社交媒体的飞速发展导致用户信息逐渐增加，用户所发表的内容也逐渐呈现多元化的趋势，数据已经不再是单一的文本形式，而是转化为图片与短文本这种多模态形式，例如：Twitter中的图文博客、贴吧中的图文信息、淘宝评论中的图文信息等。这些图文结合的多模态数据为情感分析方面的研究提供了新角度，挖掘用户所发图文的情感成为新的研究重点。同时，由于图文情感分析研究时间较短、数据集较少等问题，也使得图文情感分析存在一定的困难与挑战。

在早期的情感研究中，主要研究的是较为单一的文本或者图像，采用的方法主要是传统的机器学习分类算法［1］，例如：K近邻算法、支持向量机、最大熵分类器和贝叶斯分类器等。然而近年来，深度学习体现出较为优异的学习表现，越来越多的研究人员开始倾向使用深度神经网络来学习文本或者图像的特征表示，用于情感分类［2-5］；但是具有单一模态信息量不足，并且容易受到其他因素干扰的问题，例如：图片含义或文字语义模糊等情况。鉴于社交平台中图片与文本存在一定的互补性，图片与文本融合的研究逐渐成为当前的研究热点。蔡国永等［6］采用了基于卷积神经网络的情感分析方法，分别进行文本、图片、图文融合的情感分析，比较图文单独模态与图文多模态的实验效果，实验证明图像特征与文本特征具有联系，文本与图像也具有一定的互补作用。……