朱海东, 郑 虹*, 侯秀萍

(长春工业大学 计算机科学与工程学院， 吉林 长春 130012)

0 引 言

随着互联网技术的发展,越来越多的人们喜欢通过网络发表自己的观点、看法以及一些评论，从而产生大量带有情感色彩的文本信息。这些文本通常包括对时事的热评、商品评论、酒店评论[1]。因此，从这些海量的评论信息中分析和挖掘出用户的情感倾向具有重要的意义和研究价值。例如，电商卖家可以根据买家对商品及服务的评价来制定合适的营销策略。政府可以根据网民评论信息的分析结果进行合理的舆论监控[2]。从互联网的文本信息中可以看出，挖掘出人们的情感倾向是非常值得研究的问题。

目前，应用比较广泛的神经网络模型有卷积神经网络[3](CNN)和循环神经网络[4-5](RNN)，预训练模型有Transformer和Bert。但是它们在处理非结构化的文本时,不能有效捕获全局语义特征和局部语义特征，不能准确表达语义信息，除此以外,还不能有效获取文本中关键的情感信息。针对以上模型存在的不足，文中提出一种将ERNIE[6]预训练模型和Attention[7]注意力机制与CNN和BIGRU[8](门控单元循环神经网络)两种神经网络相结合的方法对文本进行情感分析。

1 相关工作

随着深度学习技术的快速发展，越来越多的深度学习模型应用于自然语言处理领域，尤其是情感分类的任务中。Bengio等[9]首次将神经网络模型用于自然语言处理任务中来训练特定的语言模型;白静等[10]提出利用BiLSTM网络模型对微博文本中所蕴含的情感进行立场检测;Xu J等[11]提出一种能捕获长期情绪信息的带有缓存机制的LSTM。……