李大宇，王 佳，文 治，王素格,2+

1.山西大学 计算机与信息技术学院，太原 030006

2.山西大学 计算智能与中文信息处理教育部重点实验室，太原 030006

1 引言

随着电子商务的蓬勃发展，越来越多的人喜欢在微博和论坛上对商品进行评论，致使网络上存在着大量评论数据。同时从评论数据中挖掘出消费者所关注的商品的某个方面以及对这个方面的观点具有重要的应用价值。以电影评论数据为例，电影评论中某个人对此部影片演员、剧情以及画面等方面的观点对人们选择是否要观看此部影片起着关键作用；此外，制片方也可根据观众的态度来改进影片。因此，如何从海量评论数据中迅速有效地挖掘出评论的方面和情感尤为重要。

本次评测COAE2016任务2，通过影视评论的挖掘，考察对于用户评论的方面提取和倾向性分析能力。针对影视评论数据，本文在LDA（latent Dirichlet allocation）的基础上，提出了标签方面情感联合模型（labeled joint aspect sentiment model，Labeled-JAS）。该模型将Labeled-LDA模型的文档标签约束方法和Sentiment-LDA模型的方面-情感层次结构结合，利用影视评论训练数据的方面标签和情感标签来对模型进行有指导的监督学习，从而对未知标签的影视评论进行有效预测。该模型采用文本-方面-情感-词四层生成式结构，并假设情感分布依赖于方面分布。模型用标签信息来指导无监督主题模型，可以同时从影视评论中获取方面和情感信息。对于影视评论文本中的每一个词，首先从文本-方面分布中选择一个谈论的方面标签，再从方面-情感分布中选择出对这个方面的情感。

同时，由于传统基于词典的方法具有精确率高、简单有效等优点，考虑到此次评测电影评论数据集规模和方面类别的复杂性，本文还将传统的基于领域特定词典的方法与Labeled-JAS模型联合使用。

本文组织结构如下：第2章主要列出基于方面的情感挖掘相关研究；第3章介绍了Labeled-JAS模型；第4章介绍了实验过程的建立；第5章展示了实验结果及其详细分析；第6章总结全文，并对未来工作进行展望。

2 相关工作

2.1 方面级别情感挖掘

在情感分析中，方面级别（aspect level）的情感挖掘是一个细粒度情感分类任务，旨在挖掘出评论文本中所谈论的方面以及在此方面的情感极性[1-2]。现有工作中大多采用机器学习算法，通过利用大量人工标注的标签信息来训练分类器。其中基于特征的SVM分类器是最有效的方法之一，专家可以设计出有效的特征模板，并且利用句法和情感词典等外部资源[3-4]。近年来，基于深度学习的方法在情感分析领域引起广泛关注，由于其有效的文本表示能力[5]，越来越多的学者将其应用于方面级别的情感挖掘中[6]。此外，大量基于主题模型的方法也被用于方面级别的情感挖掘中。

2.2 主题模型的方面级别情感挖掘

2003年，Blei等人[7]借鉴概率图模型的理论和方法，提出了LDA模型，该模型是一个完整的概率生成模型，参数空间的规模与文本数量无关，适合处理大规模的语料库。由于LDA模型具有良好的数学基础以及灵活的拓展性，越来越多的研究将其拓展并应用到方面情感联合分析中。

假设方面分布依赖于情感分布，Lin等人[8-10]提出了JST模型（joint sentiment/topic model）及其扩展，Jo等人[11]提出了ASUM模型（aspect and sentiment unification model），孙艳等人[12]提出了UTSU模型（unsupervised topic and sentiment unification model）。JST模型是对每个词采样主题标签和情感标签；ASUM模型是对每个句子采样主题标签和情感标签；UTSU模型则是对每个句子采样情感标签，对每个词采样主题标签。

假设情感分布依赖于方面分布，Li等人[13]提出了Sentiment-LDA模型，该模型采样主题标签和情感标签时，对每个词采样主题标签和情感标签。

此外还有大量有监督的模型用于方面情感分析[14-24]。Ramage等人[14]提出了Labeled-LDA模型，将标签信息和无监督LDA结合；Mei等人[15]提出了一个主题情感混合模型（topic-sentiment mixture，TSM），但他们认为主题分布和情感分布是独立的，并没有反映主题和情感间的相互影响；Titov等人[16-17]提出了一种多粒度LDA模型（multi-grain LDA，MG-LDA），用以挖掘产品领域情感文本中评价对象，并将相似的评价对象进行聚类；Zhao等人[18]提出了ME-LDA模型（MaxEnt-LDA），该模型结合了最大熵组件和主题模型。

3 Labeled-JAS模型

Labeled-JAS模型是一个概率图模型，通过将Labeled-LDA的文档标签约束方法和Sentiment-LDA的方面-情感层次结构结合，用文档的方面标签和情感标签来对模型进行有指导的监督学习。

3.1 Labeled-JAS模型的生成过程

假定语料库C为D篇文本的集合，记为C={d1,d2,…,dD}；文本d存在Nd个词，记为；每个词wi均是词表中的一项（词表由V个不同的词构成）；设J为方面的个数，K为情感极性的个数，则Labeled-JAS模型对应的文本生成过程如下（α、β、γ、η、δ为模型超参数，Bernoull（i）为二项分布，Dir（）为狄利克雷分布，Mult（i）为多项分布）：

（1）对于每一篇文本d

针对每一个方面a，选取文档方面标签Λd,a～Bernoulli(δ)；

选取文档方面先验参数αd=Ld×α；

选取文本-方面分布θd～Dir(αd)。

（2）对于文本d下的方面a

针对每一个情感s，选取文档方面情感标签Ωd,a,s∈{0,1}～Bernoulli(η)；

选取文档方面情感先验参数γd,a=Td,a×γ；

选取文本-方面-情感分布πd,a～Dir(γd,a)。

（3）对于文本d中的每一个词wi

选取方面标签ai～Multi(θd)；

选取情感标签si～Multi(πd,ai)；

选取词wi～Multi(φai,si)，其中φai,si～Dir(β)为词wi在方面情感下的概率分布。

其中，文档方面先验参数αd的计算过程如下：

（1）选取文档的方面标签Λd,a；

（2）定义一个文档标签集λd={a|Λd,a=1}；

（3）定义一个Md×J维的文档标签映射矩阵Ld，其中Md=|λd|,J为方面总个数。对于Ld中的每一行i∈{1,2,…,Md}和每一列j∈{1,2,…,J}：

（4）利用映射矩阵Ld将狄利克雷先验参数α=(α1,α2,…,αJ)T映射到一个低维向量αd=Ld×α。

例如，假设方面总数J=4且文档d的方面标签向量为Λd=(0,1,1,0)，文档标签集λd={2,3}，文档标签映射矩阵，则先验参数α=L×α=dd(α2,α3)T。最后，从先验参数为αd的狄利克雷分布中选取文本-方面分布θd～Dir(αd)，这样将得到的文档d的方面标签约束为方面2和方面3。

文档情感先验参数γd,a的计算过程与文档方面先验参数αd的计算过程类似。

对应上述生成过程，构建Labeled-JAS模型如图1所示。

Fig.1 Labeled-JAS model图1 Labeled-JAS模型

3.2 Labeled-JAS模型学习与推理

Labeled-JAS模型有3组多项分布参数，分别是文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-词分布Φ。

3.2.1 联合概率

为了获取Θ、Π和Φ这3组参数，进行了以下推导。

设语料库中所有词及其情感标签、方面标签的联合概率可以分解为如下形式：

其中，w为语料库中所有词的记号序列；a为语料库中所有词的方面标签序列；s为语料库中所有词的情感标签序列。假定语料库中词与词之间是相互独立的。

式（2）中P(w|a,s)、P(s|a)和P(a)通过分别对Φ、Π和Θ积分可以得到：

其中，V是词表的大小；J是方面标签的总数；K是情感标签的总数；D是语料中文档总数；Nj,k,v为语料库中方面标签为j，情感标签为k的词v的个数；Nd,j,k为文本d中方面标签为j，情感标签为k的词的个数；Nd,j为文本d中方面标签为j的词的个数；Nd为文本d中的词汇总数。

3.2.2 Gibbs采样

为了得到模型参数，用Gibbs采样算法[25]对模型的变量ai和si进行采样，利用3.2.1节所得联合概率，给定除当前词wi的方面和情感标签外的标签，语料库中词wi的方面标签ai为j，情感标签si为k的条件概率为：

其中，a¬i为除第i个词外的其他词汇的方面标签序列；s¬i为除第i个词外的其他词汇的情感标签序列；{Nj,k,v}¬i为语料库中除第i个词外，方面标签为j情感标签为k的词v的个数；{Nj,k}¬i为语料库中除第i个词外，方面标签为j情感标签为k的词的个数；{Nd,j,k}¬i为文本d中除第i个词外，方面标签为j情感标签为k的词的个数；{Nd,j}¬i为文本d中除第i个词外，方面标签为j的词的个数；{Nd}¬i为文本d中除第i个词外的词汇总数。

这里，方面标签j和情感标签k不是取所有值，而是只能取标签集合中的值，例如：j∈λd。

3.2.3 参数估计

当Gibbs采样收敛后，需要根据最后文档集中所有词的方面标签和情感标签分配情况来计算参数矩阵Θ、Π和Φ。3组多项分布参数，即文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-词分布Φ的估计公式如下：

在训练数据集中，利用式（7）～（9）学习到方面-情感-词分布Φ，再在测试数据集上用Gibbs采样算法进行迭代，得到属于测试数据的上述3组分布参数。

3.3 基于Labeled-JAS模型的标签识别

对于模型Labeled-JAS，通过式（7）中的θd,j可以得到方面j在文本d中概率估计，通过式（8）中的πd,j,k可以得到情感k在文本d方面j中概率估计。因此，利用这些参数估计，Labeled-JAS模型可采用式（10）和（11）对文本的方面类别以及文本的情感类别进行判断。

其中，ad为文本d的方面标签；sd为文本d的情感标签。

4 实验过程的建立

COAE2016任务2有3个子任务：子任务1为判断给定影视评论的总体倾向；子任务2为判断给定影视评论中每个短句所属的方面；子任务3为判断给定影视评论中每个短句针对所属方面的倾向性，同时抽取倾向性判断的描述词语，即做出倾向性判断的支撑证据。

基于Labeled-JAS模型和词典，本文设计了3个评测系统：系统1完全采用Labeled-JAS模型；系统2采用Labeled-JAS模型和词典联合的方法；系统3是在系统2的基础上用情感词典进行校对的结果。所有的实验采用ICTCLAS开源工具包对训练数据和测试数据进行分词，并将分词后的文本剔除停用词。

系统1首先将全部训练数据及其方面标签和情感标签输入到Labeled-JAS模型中进行Gibbs采样，当模型稳定后，将全部测试数据输入到Labeled-JAS模型中进行Gibbs采样，最终得到测试数据的方面标签和情感标签。

系统2 由于方面标签中，“导演”、“演员”、“人物”、“配乐”和“画面”这几类标签特征明显，本文人工构建了上述5类词典，比如“演员”这一类词典中，包含了大量演员名，如“赵丽颖”、“范冰冰”、“甄子丹”等。通过电影领域方面词典来确定测试数据的方面标签，情感标签则通过NTUSD情感词典来确定。通过词典方法处理后，剩余测试数据只包含“剧情”、“总体”和“其他”这3类，然后通过Labeled-JAS模型得到这部分数据的方面标签和情感标签，具体方法和系统1类似。

系统3该系统是在系统2的基础上，利用情感词典进行进一步校对，以获取更加准确的结果，方面标签则与系统2一致。

通过将评论中每个短句的情感极性进行加和来确定影视评论的总体倾向，支撑证据则通过情感词典来获取。

5 实验结果

5.1 实验数据

本文实验数据为COAE2016评测任务2提供的影视评论数据，每条影视评论有一个总体情感，包括正面、负面、中立、uncertain等；每条评论中每个短句又有一个方面，包括剧情、导演、演员、人物、配乐、画面、总体、其他、uncertain等；针对这个方面，又有一个所属的一个情感，包括正面、负面、中立、uncertain、感慨等。其中包含训练数据和测试数据，数据分布情况如表1所示。

Table1 Experimental data set表1 实验数据集

5.2 实验设置

Labeled-JAS模型有3个超参数，根据文献[8]，实验中参数选取为α=0.01,β=0.1,γ=0.01，模型迭代次数选取为800次。

5.3 结果及分析

利用第4章设计的实验过程，得到的实验结果如表2所示。其中avarage_score是指所有参加这个子任务的队伍的最好成绩的平均值；子任务3有两组结果，第一组分数为方面情感倾向的正确率；第二组分数为对情感词计算准确率和召回率之后计算的F值得分。

Table 2 Comparison ofF-measurebetween the proposed method and average score of participants表2 本文3个系统与参赛队伍平均值对比实验结果（F值）

由表2中可以看出：

（1）系统1只采用Labeled-JAS模型进行实验，结果均低于平均值average_score。这是因为Labeled-JAS模型为基于概率图模型的有监督方法，本次评测训练数据与测试数据规模较小，并且分类的类别较多，故不能在每一类别上形成大量统计信息，导致模型效果较差。

（2）系统2在系统1方法的基础上，结合了基于词典的方法，可以看出，加入词典后，较系统1结果有明显提升；系统3较之系统2，性能继续提升，在各个子任务中略逊于平均值。说明在小规模数据中，基于词典的方法简单有效，通过加入基于词典的方法，可以有效改善基于概率统计的Labeled-JAS模型的效果。

5.4 方面情感词获取

Labeled-JAS模型还可用于获取特定领域下的方面情感词，利用方面-情感-词分布Φ，在实验训练数据上取了一些概率排名靠前的方面情感词，结果如表3所示。

Table 3 Samples of aspect sentiment words表3 方面情感词汇表

由表3可以看出，Labeled-JAS模型可以获取一些特定方面下的情感词，例如在“导演”这一方面下，情感为负的词有“奢侈”、“一星”等。获取到方面情感词后，可以用于构建特定领域情感词典以及情感分类等任务。

6 结论与展望

本文在Labeled-LDA模型和Sentiment-LDA模型的基础上，针对COAE2016评测任务2，提出了一个能同时挖掘影视评论数据中方面及情感的概率图模型：Labeled-JAS模型。该模型能够将影视评论数据结构化，同时获取其中的方面和情感信息，从而指导观众对影视作品进行选择以及指导制片方改进影片。另外，还针对影视评论数据的特点，将基于词典的方法和Labeled-JAS模型联合使用，在测评数据上进行了多组实验，结果表明，本文方法可以较好地识别出影视评论中所谈论的方面、针对某方面的情感以及评论的总体情感。

在今后的工作中，希望将本文模型与深度学习结合，构建出更加高效的方面情感联合模型，以处理海量数据问题。

[1]Moghaddam S,Ester M.On the design of LDA models for aspect-based opinion mining[C]//Proceedings of the 21st International Conference on Information and Knowledge Management,Maui,Oct 29-Nov 2,2012.New York:ACM,2012:803-812.

[2]Pontiki M,Galanis D,Pavlopoulos J,et al.SemEval-2014 task 4:aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:27-35.

[3]Kiritchenko S,Zhu X,Cherry C,et al.NRC-Canada-2014:detecting aspects and sentiment in customer reviews[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:437-442.

[4]Wagner J,Arora P,Cortes S,et al.DCU:aspect-based polarity classification for SemEval task 4[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:223-229.

[5]Tang Duyu,Qin Bing,Feng Xiaocheng,et al.Target-dependent sentiment classification with long short term memory[J].arXiv:1512.01100,2015.

[6]Tang Duyu,Qin Bing,Liu Ting.Aspect level sentiment classification with deep memory network[J].arXiv:1605.08900,2016.

[7]Blei D M,Ng A Y,Jordan M I.Latent Dirichlet allocation[J].Journal of Machine Learning Research,2003,3:993-1022.

[8]Lin Chenghua,HeYulan.Joint sentiment/topic model for sentiment analysis[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management,Hong Kong,China,Nov 2-6,2009.New York:ACM,2009:375-384.

[9]He Yulan,Lin Chenghua,Alani H.Automatically extracting polarity-bearing topics for cross-domain sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies,Portland,Jun 19-24,2011.Stroudsburg:ACL,2011:123-131.

[10]Lin Chenghua,He Yulan,Everson R,et al.Weakly supervised joint sentiment-topic detection from text[J].IEEE Transactions on Knowledge&Data Engineering,2012,24(6):1134-1145.

[11]Jo Y,Oh A H.Aspect and sentiment unification model for online review analysis[C]//Proceedings of the 4th International Conference on Web Search and Web Data Mining,Hong Kong,China,Feb 9-12,2011.New York:ACM,2011:815-824.

[12]Sun Yan,Zhou Xueguang,Fu Wei.Unsupervised topic and sentiment unification model for sentiment analysis[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2013,49(1):102-108.

[13]Li Fangtao,Huang Minlie,Zhu Xiaoyan.Sentiment analysis with global topics and local dependency[C]//Proceedings of the 24th Conference on Artificial Intelligence,Atlanta,Jul 11-15,2010.Menlo Park:AAAI,2010:1371-1376.

[14]Ramage D,Hall D,Nallapati R,et al.Labeled LDA:a supervised topic model for credit attribution in multi-labeled corpora[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing,Singapore,Aug 6-7,2009:248-256.

[15]Mei Qiaozhu,Ling Xu,Wondra M,et al.Topic sentiment mixture:modeling facets and opinions in weblogs[C]//Proceedings of the 16th International Conference on World Wide Web,Banff,May 8-12,2007.New York:ACM,2007:171-180.

[16]Titov I,McDonald R T.A joint model of text and aspect ratings for sentiment summarization[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics,Columbus,Jun 19-20,2008.Stroudsburg:ACL,2008:308-316.

[17]Titov I,McDonald R T.Modeling online reviews with multigrain topic models[C]//Proceedings of the 17th International Conference on World Wide Web,Beijing,Apr 21-25,2008.New York:ACM,2008:111-120.

[18]Zhao Xin W,Jiang Jing,Yan Hongfei,et al.Jointly modeling aspects and opinions with a MaxEnt-LDA Hybrid[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing,Cambridge,Oct 9-11,2010.Stroudsburg:ACL,2010:56-65.

[19]Moghaddam S,Ester M.The FLDA model for aspect-based opinion mining:addressing the cold start problem[C]//Proceedings of the 22nd International Conference on World Wide Web,Rio de Janeiro,May 13-17,2013.New York:ACM,2013:909-918.

[20]Rao Yanghui,Li Qing,Liu Wenyin,et al.Affective topic model for social emotion detection[J].Neural Networks the Official Journal of the International Neural Network Society,2014,58(5):29-37.

[21]Chen Zhiyuan,Mukherjee A,Liu Bing.Aspect extraction with automated prior knowledge learning[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics,Baltimore,Jun 23-25,2014.Stroudsburg:ACL,2014:347-358.

[22]Wu Yao,Ester M.FLAME:a probabilistic model combining aspect based opinion mining and collaborative filtering[C]//Proceedings of the 8th International Conference on Web Search and Data Mining,Shanghai,Feb 2-6,2015.New York:ACM,2015:199-208.

[23]McAuley J,Pandey R,Leskovec J.Inferring networks of substitutable and complementary products[C]//Proceedings of the 21st International Conference on Knowledge Discovery and Data Mining,Sydney,Aug 10-13,2015.New York:ACM,2015:785-794.

[24]Samha A K,Li Yuefeng,Zhang Jinglan.Aspect-based opinion mining from product reviews using conditional random fields[C]//Proceedings of the 13th Australasian Data Mining Conference,Sydney,Aug 8-9,2015.Darlinghurst:Australian Computer Society,Inc,2015:119-128.

[25]Walsh B.Markov chain Monte Carlo and Gibbs sampling[J].Notes,2004,91(8):497-537.

附中文参考文献：

[12]孙艳,周学广,付伟.基于主题情感混合模型的无监督文本情感分析[J].北京大学学报:自然科学版,2013,49(1):102-108.