何传鹏，黄 勃，周科亮，尹 玲，王明胜，李佩佩

（上海工程技术大学电子电气工程学院，上海 201620）

0 引 言

在自然语言处理领域，一个重要分支是文本情感分析领域，文本情感分析也称为意见挖掘，针对带有情感色彩的文本进行预处理、分析、归纳和推理，认知大众喜、怒、哀、乐等情感，了解大众舆论对某产品或某事件的看法，引导大众对某产品或某事件迅速做出决策［1～3］。

随着深度学习的发展，基于BERT（bidirectional encoder representations from transformers）预训练模型和长短期记忆（long short-term memory，LSTM）的深度学习模型成为主流方法。汤世松等人提出基于BERT与双向LSTM（bidirectional LSTM，Bi-LSTM）的情感分析模型［4］。LDA（latent Dirichlet allocation）在提取特征方面有广泛应用［5，6］，付静等人［7］提出基于BERT和LDA主题模型的新闻短文本分类模型，将词向量和位置（location，Loc）向量输入到BERT模型中，通过自注意力（self-attention，SA）机制提取全局特征，将上述向量与LDA 主题模型获得的特征进行融合拼接，解决数据稀疏问题。从上述可知，在短文本情感分类的过程中可使用Bi-LSTM 提取上下文信息［8，9］，然而现有方法并没有考虑主题词与文本的相对位置关系对文本情感分类的影响。

本文提出一种基于位置权重和注意力（attention）权重加权求和的文本情感分析方法。通过使用LDA 主题模型［6］，并将由设置阈值（threshold）筛选出来的主题词和原文本进行融合拼接输入到BERT模型［10～13］中，进行词向量训练，利用SA机制将文本信息与主题信息进行充分融合，加入文本的位置权重和注意力权重，使用Bi-LSTM 网络进行隐含向量的表示，最后通过SoftMax 层输出进行情感分类。

图1为BERT内部结构，本文使用拼接最后4 层隐含层的向量作为最终的词向量表示。……