基于多特征LSTM-Self-Attention文本情感分类
2021-12-10谢斌红董悦闰潘理虎张英俊
谢斌红,董悦闰,潘理虎,2,张英俊
(1.太原科技大学计算机科学与技术学院,山西 太原 030024;2.中国科学院地理科学与资源研究所,北京 100101)
1 引言
文本情感分析又称意见挖掘或观点分析[1],是运用自然语言处理技术对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分类作为其中一项最基本的任务,旨在根据文本表达的情绪进行自动分类[2]。它对舆情控制、民意调查及心理学研究[3]等具有重要的意义,因此,近些年受到了众多研究者的密切关注,并取得许多进展[4]。
文本情感分类方法的研究经历了基于词典的方法、基于机器学习的方法和基于深度学习的方法三个阶段[5]。其中,由于基于深度学习的方法具有更强的特征表示,而且还能更好地学习从数据到情感语义的复杂映射函数,最重要的是解决了传统机器学习方法的数据稀疏和维度爆炸的问题。因此,越来越多的学者将深
度学习应用到文本情感分类领域。Bespalov等[6]提出利用潜在语义分析(latent semantic analysis)来进行初始化词向量,然后使用带权重的n-gram特征的线性组合表征整篇文档的情感特征。但是利用n-gram特征必须具备关于整个文献库和分类的知识,且需要大量人工进行处理。Glorot 等[7]使用除噪堆叠自编码器(stacked denoising autoencoder,SDA)来解决大量评论数据情感分类中在不同领域中的适应性问题(domain adaptation)。Socher等[8-10]使用一系列基于递归神经网络(Recursive Neural Network,RNN)的分类模型来解决文本情感分类问题,但是递归神经网络在训练过程中存在一些梯度爆炸和消失问题等缺点。……
