梁淑蓉，谢晓兰,2*，陈基漓,2，许 可

(1.桂林理工大学信息科学与工程学院, 桂林 514004；2.广西嵌入式技术与智能系统重点实验室, 桂林 514004)

随着互联网时代发展起来的各种消费、娱乐和工作平台，不仅给人们带来便利生活，也给意见反馈和信息交流提供媒介，人们更愿意通过网络平台反馈自己对事物的喜好程度。情感分析是对主观文本的情感倾向性分析，可获取人们对事物的情感倾向，也给决策者规划提供参考。

情感分析的发展主要经过3个阶段：基于情感词典方法阶段、基于机器学习方法阶段和基于深度学习方法阶段[1]。情感词典是最早用于情感分析的手段，但人工构建的情感词典存在情感词不完整、在不同的语境情况下无法识别情感倾向以及不能及时收录新词等问题。第二阶段在机器学习的基础上，根据文本特征的提取进行情感分类，相较于情感词典的方法能减少人工标注的劳动力，但分类器的优劣取决于特征提取的效果，导致其泛化程度不高。而深度学习的方法通过对人的神经系统的模拟来构建网络模型，比上述两者都更具优势。近年来，随着计算机生产力的提高，云计算技术、大数据等技术以及先进技术的不断发展，使得深度学习方法被广泛应用于自然语言处理(natural language processing，NLP)领域，主要体现在三种主流预训练模型手段：

第一种是神经网络语言模型Word Embedding(词嵌入)，先通过无监督学习语料得到的词向量，再应用于下游任务，Word2Vec模型和GloVe模型都是Word Embedding的代表，但该方法未考虑上下文语义。……