章 荪，尹春勇

（南京信息工程大学计算机与软件学院，南京 210044）

（∗通信作者电子邮箱yinchunyong@hotmail.com）

0 引言

情感分析主要涉及检测、分析和评估用户面对不同事件、问题、服务时所产生的心理状态，它是实现智能化人机交互的必要条件［1］。社交网络作为新兴的信息媒体，允许用户上传和分享日常的生活经历和观点看法。这些自用户端发布的数据含有丰富的情感信息，能够为情感分析提供重要的数据支持［2］。因此情感分析相关的工作大多以社交网络为背景，利用用户生成数据训练情感分析模型。

现有的情感分析研究主要集中于单一的文本模态，它伴随着统计学习和人工智能技术的发展得到了不断的完善。文本情感分析的关键在于构建有效的文本特征表示。早期方法通常基于词汇的情感信息，提取词语统计特征作为文本表示，利用机器学习方法实现进一步的分类和预测。而自深度学习兴起后，研究者提出利用卷积神经网络（Convolution Neural Network，CNN）或循环神经网络（Recurrent Neural Network，RNN）端到端提取文本的空间和时序信息，或是利用预训练的语言模型将高维的稀疏特征映射到低维的语义空间，学习文本的嵌入表示。深度学习解决了传统统计方法中存在的维度爆炸和特征稀疏问题，但是这些方法通常只关注于单一的模态信息，不能适应多模态的社交网络环境。

每一种信息的来源或形式都可以看作是一种模态，社交网络正是由文本、图像、语音等多种模态构成的复杂环境［3］。例如在博客和商品评论场景中，用户上传的信息通常包括文字和图像两部分内容，两种模态之间具有一定的语义和情感相关性。……