基于BGRU-CapsNet的情感分析算法研究
2021-02-12应伟志
应伟志,于 青
(天津理工大学计算机科学与工程学院,天津300384)
文本情感分析是网络舆情分析的一个关键任务,也是自然语言处理领域的一个重要研究方向[1]。深度学习技术目前已经成功地应用于自然语言处理领域[2-4],有许多学者对其进行了研究。DERIU等[5]使用大量数据用于训练卷积神经网络(convolutional neural network,CNN),并将预测结果与随机森林分类器相结合,优化了情感极性分类。TANG等[6]提出了利用情感嵌入将文本的情感与词的情境共同编码,并开发出能够裁剪损失的神经网络。吴冬茵等[7]提出了使用深度神经网络得到文本表示,然后基于高斯过程迁移数据集,提高文本的情感分析性能。ZHANG等[8]提出了一种基于语义规则的邻域适应环境的情感分析胶囊网络(capsule network,CapsNet),可以增强句子的综合表示学习。
上述文献在情感分析领域做了大量有益的工作。然而,上述文献并没有充分利用文本的前向和后向信息,而且提取文本信息的方法也存在着局限性。因此,本文提出了一种基于双向门控循环神经网络(bidirectional gated recurrent neural network,BGRU)和CapsNet的情感分析算法来解决上述问题。
1 准备工作
1.1 双向门控循环神经网络
标准的循环神经网络(recurrent neural network,RNN)利用上文信息按照正向输入序列的方式来处理序列问题,但不考虑下文信息。针对这一问题,SCHUSTER等[9]提出了双向循环神经网络(bidirectional recurrent neural network,BRNN)模型。该模型能够同时存储上下文信息,它的核心思想是:利用两个RNN依次处理正向和反向序列,然后将各自的输出共同连接到输出层中,进而记录相关信息。……
