李明超，张寿明

（昆明理工大学 信息工程与自动化学院，云南 昆明 650500）

0 引言

文本情感分析是自然语言处理领域（Natural Language Processing，NLP）一个重要的研究方向，是利用计算机手段对带有情感倾向的文本进行处理、分析、归纳及推断的过程。

在基于深度学习的文本情感分析研究方向上，KALCHBRENNER等人[1]提出了第一个基于卷积神经网络（Convolutional Neural Networks，CNN）的TC模型，该模型使用动态-max-pooling，称为动态CNN（DCNN）；此后又出现了循环神经网络[2]（Rerrent Neural Network，RNN）及其各种变体，如长短期记忆网络（Long Short-Term Memory，LSTM）和门控循环网络（Gated Recurrent neural network，GRU）[3]，都是旨在更好地捕获长期依赖关系。随着训练模型复杂度不断提升和模型处理语料日益庞大，研究人员提出了预训练模型（Bidirectional Encoder Representations from Transformers，BERT）[4]。 通过大量基准语料对模型预训练，使模型能够对给定语句中的词语嵌入更丰富语义，这些嵌入将被应用到相关模型后续任务中，极大地改善模型情感分 析性能。

但是，在以上的单一神经网络模型中依然存在各种问题：卷积神经网络无法提取文本时序特征，而LSTM和GRU虽能提取到时序特征，但只能利用到当前和过去信息，不能利用未来信息；另外，BERT模型的输入长度是固定的，被截取的超出部分可能包含有价值信息，因此还有提升空间。

针对上述问题，本文提出Bert-BiR-A模型架构，利用训练集对BERT模型进行微调，然后利用预训练BERT模型对文本序列进行词嵌入，使词语获得更丰富表征；利用双向GRU对文本进行双向特征提取，并引入注意力机制对提取特征赋予不同权重，给予关键信息更高关注度，更有利于情感分析，提取语句深层语义；……