黄宏展，蒙祖强

广西大学 计算机与电子信息学院，南宁530004

在日常生活里，人们所接触的信息通常有以下几种形式：视频、声音、图片、文字等。在许多场合，从信息的感知到认知的理解过程可能需要综合多种形式的信息才能完成。多种形式信息所构成的数据，也叫做多模态数据。使用多模态数据可以从给定学习任务所考虑的每种模态中提取互补信息，与仅使用单个模态相比，可以产生更丰富的表示[1]。

情感分析领域里，目前较为常见的是针对文本数据进行自然语言处理[2-3]，挖掘文字背后蕴藏的感情色彩。也有部分学者将图像处理技术运用于情感分析[4-5]。但是，目前综合文本和图像进行多模态情感分析的研究相对比较少。在有的场合下，仅通过单一模态挖掘数据背后的情感特征往往容易产生歧义，需要借助其他模态信息的辅助才能够更好地表达情绪倾向。例如，从图1中（a）和（b）容易观察出积极和消极的情感倾向，然而在（c）中只观察图片会误以为描绘美丽的森林，结合文本中的“abandoned”“fallen”“shattered”等情感词汇才可以得到原创者表达的消极倾向。图片与文本数据的融合解释，不但可以加强情感的传达，也能避免单模态下情感分析的片面性。

图1 社交媒体上的图文数据

在实际生活中，部分人工智能应用场景需要涉及到多种模态输入。学习更好的特征是多模态学习中的核心内容之一，已有工作[6]表明通过深度学习提取到的特征往往能够取得较好的效果。……