李　国，张春杰，张志远

（中国民航大学a.计算机科学与技术学院；b.中国民航信息技术科研基地，天津　300300）



一种基于加权LDA模型的文本聚类方法

李国a，b，张春杰a，b，张志远a，b

（中国民航大学a.计算机科学与技术学院；b.中国民航信息技术科研基地，天津300300）

摘要：针对传统聚类算法在处理大规模和高维文本聚类时存在的不足和局限性，提出了新的以LDA（latent dirichlet allocation）模型为基础的聚类方法。通过LDA主题模型挖掘得到文本之中的潜在主题分布以及不同主题内的词语分布，分别计算文本在“文本-主题”特征空间和“主题-词语”特征空间的相似度，然后对两者线性加权，获得最终的文本相似度。利用经典的K-Means算法，在中英文语料库上进行的实验表明，与单纯地利用VSM结合K-Means相比，具有较好的聚类效果。

关键词：LDA；向量空间模型；数据挖掘；文本聚类；K-Means

伴随着互联网近年来飞快的发展，图书期刊、企业和个人信息、政府报告、多媒体资源和社会新闻等数据的规模都在快速膨胀，而以上这些内容的基本呈现方式，大都是非结构化的文本。由于这些文本信息发布的类别和渠道非常庞杂，人们想要在其中快速准确地获取有效的信息变得十分困难，在花费了大量的时间和精力后往往也只是事倍功半。如何从这些海量文本中准确高效地获取人们真正想要得到的有用信息已成为目前迫切需要解决的问题。作为一种无监督机器学习方法，文本聚类算法已在文本自动整理、数字图书馆服务和检索结果的组织等方面获得了比较广泛的应用。……