基于LDA的舆情评论文本主题提取改进研究
2020-12-23曹锐孙美凤
曹锐 孙美凤



摘 要: 基于LDA算法原理,提出了两种对语料库提供先验知识的改进策略。一种为对语料库中特定词性的词汇进行增删以进行相对定向的主题词的提取改进;另一种是针对舆情评论文本与新闻的相关性,引入新闻主题以期提高主题提取词汇的语义表达能力。实验证明,改进对提升舆情评论文本的主题提取准确率有明显效果。
关键词: 主题提取;LDA;舆情事件评论分析;无监督学习
中图分类号: TP391 文献标识码: A DOI:10.3969/j.issn.1003-6970.2020.10.017
本文著录格式:曹锐,孙美凤. 基于LDA的舆情评论文本主题提取改进研究[J]. 软件,2020,41(10):7075+85
【Abstract】: Based on the principle of LDA algorithm, two improved strategies for providing prior knowledge to the corpus are proposed. One is to add and delete specific part-of-speech vocabularies in the corpus to improve the extraction of relative targeted topic words; the other is to introduce the topic of news in order to improve the semantic expression ability of topic-extracted vocabularies based on the relevance of public opinion comment texts and news. Experiments show that the improved LDA algorithm has a significant effect on improving the accuracy of topic extraction of public opinion review text.
【Key words】: Topic extraction; Latent Dirichlet Allocation; Public opinion analysis; Unsupervised learning
0 引言
近年来,Web2.0的普及带动了互联网信息量的剧增和网络交互性的空前提升,网络舆情的分析顯得愈加重要,网络舆情是社会舆情在网络空间的映射[1]。针对网络舆情主题的稀有性特点——形成的热点主题只来自少量信息[2],为了快速、准确地从网络媒体带来的大量舆情新闻及对应评论信息中提取热点主题,需要将主题提取的工作由人工转化为半自动甚至自动。
LDA(Latent Dirichlet Allocation)[3]是基于BOW模型的一种自动主题提取算法。LDA因为有效训练不需要任何带标签的训练集的优点得到广泛应用[4-7]。
但作为一个无监督方法,LDA在实际应用中存在问题,主要有:
(1)每次主题划分会遗漏部分现实存在的主题[8]。这会极大影响测试集文本包括新文本划分到该主题的准确度。
(2)代表主题的关键词集合表义不明确[9]。这会使得人为难以判断主题提取效果是否达到理想的训练效果,也会影响测试集文本包括新文本划分为该主题的准确度。……
