徐维林 朱宗 高丽 刘金岭

摘要：LDA模型对长文本聚类有优势。将微博文本按一定规则构建长文本，根据文本中隐含的丰富语义信息，将SVM模型与LDA模型相结合，利用K-Means算法聚类。实验结果表明，SVM和LDA相结合的模型，明显提高了聚类质量和稳定性。

关键词：SVM模型；LDA模型；微博舆情；K-Means算法聚类

DOIDOI：10.11907/rjdk.161005

中图分类号：TP319

文献标识码：A 文章编号：1672-7800（2016）005-0153-02

0 引言

互联网对社会的影响力与日俱增，网络舆情研究越来越受到重视。随着论坛、社区、博客、微博、微信等新兴互联网媒体的兴起，社会舆情的传播速度变得越来越快。因此，加强舆情信息的监控，及时掌握舆情动态，利用现代信息技术促进网络舆情信息健康有序发展，是各级政府部门的重要工作之一。

主题模型（Latent Dirichlet Allocation，LDA）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构，是目前公认的自然语言处理中较好的模型之一。为了使LDA模型较好地处理微博文本，以获得较有价值的舆情信息，先将微博集合信息进行粗分类，构成主题较为明确的长文本集合，利用数据预处理、特征词提取，用TF-IDF策略得到SVM特征词空间向量，结合LDA进行聚类，得到微博舆情热点话题。本文先将微博集合按一定的规则构成长文本集，将LDA主题模型与SVM有机结合，从特征词和主题两个方面对文本进行聚类分析，以弥补两种方式的不足，提高了聚类准确率。

1 相关研究

LDA模型是Blei[1]提出的一种基于潜在Dirichlet分布的概率主题生成模型，该模型生成文本过程：一系列主题以服从多项式分布形式生成每个文本，再从这些主题中同样以服从多项式分布的方式抽样出每个单词。刘振鹿等[2]应用LDA模型进行文本的潜在语义分析，将语义分布划分成低频、中频、高频语义区，以低频语义区的语义进行Web游离文本检测，以中、高频语义区的语义作为文本特征进行文本聚类，采用文本类别与语义互作用机制对聚类结果进行修正，获得了较好的聚类效果。曹娟等[3]研究了LDA模型的最优化问题，证明当主题之间的相似度最小时模型最优。王少鹏等[4]提出了一种基于LDA的主题模型文本聚类方法，利用TF-IDF算法和LDA主题模型，通过耗费函数确定文本相似度的融合系数，进行线性结合来获取文本之间的相似度，通过计算得到文本相似度矩阵，使用K-mean进行文本聚类，利用F值对聚类结果评估，取得了良好的聚类效果。但LDA仅对于长文本效果较为突出，对具有短文本特点的微博文本分类往往效果不明显。

2 基于LDA与SVM结合的舆情获取

2.1 微博数据采集

微博舆情信息数据采集是进行舆情分析的基础。一般情况下，微博信息的获取都是通过专门的获取工具，比如网上免费提供的新浪微博数据获取采集器 V1.0绿色版（http：//www.cr173.com/soft/141381.html）等。

2.2 微博长文本集构建

本文实验数据是新浪网上采集的9 800条微博信息，采用同一用户某时间段内（本文选取48个小时）所发出的微博按时间顺序排序构造一个长文本集。具体算法如下：

算法1：构建微博长文本集

该算法将每个用户在时间间隔T0（选取T0=24）内发出的微博有序地构建了一个长文本向量，这基于两方面考虑：①假设每条微博知识反映一个主题；②一个用户连续发出微博为一个主题的概率很大，因此某一时间段内连续发出的微博只会是有限个主题。

2.3 基于LDA和VSM的聚类算法设计

2.3.1 LDA模型

LDA模型具有清晰的层次结构，依次为文档集合层、主题层和特征词层。

LDA模型是典型的有向概率图模型[6]，由参数（α，β）确定，α反映了文档集合中隐含主题间的相对强弱，β刻画所有隐含主题自身的概率分布。其中θk表示文档主题的概率分布，φk表示特定主题下特征词的概率分布，-表示文档集的文本数，K表示文档集的主题数，N表示每篇文档包含的特征词数。

2.3.2 LDA 和VSM结合的聚类算法

3 实验结果与分析

3.1 线性相关系数λ

λ分别取值0.1-0.9时，计算其漏判率、错判率和耗费函数值[4]，通过实验数据可以看出，漏判率、错判率和耗费函数值先是随λ的值增大而减小，在0.6处达到最低点，而后随着λ的值增大而增大，因此λ=0.6时聚类效果最佳，所以本文实验取λ=0.6。

3.2 聚类质量检测

基于数据集的分布情况常用F值进行评价。F值评价原理是利用查全率和查准率对聚类结果质量进行评价。对于实验的比较，本文通过计算SVM与LDA结合模型（简记为SVM+LDA）、LDA模型和SVM模型的F值比较实验结果得到，SVM与LDA结合模型不仅在质量上有一定提高，而且聚类结果的稳定性也较好。这是因为SVM模型中利用TF-IDF进行大样本集进行特征词抽取时具有明显的优势，而LDA模型又强化了文本间语义关系，同时，LDA模型又具有强大的降维能力。综合以上几点，使得SVM+LDA在进行微博集中的舆情识别时提高了聚类质量和稳定性。

4 结语

文本间潜在的语义关系是通过文本相似度来反映和度量的。LDA模型是解决文本潜在主题的概率生成模型，为了发挥LDA模型对长文本多主题聚类的优势，本文利用微博时序和用户聚集特点，将某用户在某时间段内所发送的微博按时序排序为一个长文本，再利用SVM模型提取特征词的优势，结合SVM与LDA模型的相似度进行聚类，克服LDA主题向量维数过低和对文本区分度较弱的不足，以此提高文本聚类的稳定性和准确性。

参考文献：

[1]BLEI D，NG A，JORDAN M.Latent dirichlet allocation[J].Journal of Machine Learning Rasearch，2003（3）：993-995.

[2]刘振鹿，王大玲，冯时，等.一种基于LDA的潜在语义区划分及Web文档聚类算法[J].中文信息学报，2011，25（1）：60-67.

[3]曹娟，张勇东.一种基于密度的自适应最优LDA模型选择方法[J].计算机学报，2008，31（10）：1780-1788.

[4]王少鹏，彭岩，王洁.基于LDA 的文本聚类在网络舆情分析中的应用研究[J].山东大学学报：理学版，2014，49（9）：129-134.

[5]刘金岭.基于降维的短信文本语义分类及主题提取[J].计算机工程与应用，2010，46（23）：159-161，174.

[6]徐戈，黄厚峰.自然语言处理中主题模型的发展[J].计算机学报，2011，34（8）：1423-1437.

[7]邬启为.基于向量空间的文本聚类方法与实现[D].北京：北京交通大学，2014.

[8]张永军，刘金岭，马甲林.中文短信文本信息流中多话题的分类抽取[J].现代图书情报技术，2014，30（7）：101-106.

（责任编辑：杜能钢）