詹增荣,程 丹

(1.广州番禺职业技术学院，中国 广州 511483；2.广州体育职业技术学院，中国 广州 510650)



基于LDA与距离度量学习的文本分类研究

詹增荣1*,程 丹2

(1.广州番禺职业技术学院，中国 广州 511483；2.广州体育职业技术学院，中国 广州 510650)

提出了一种基于隐含狄利克雷分布(LDA)与距离度量学习(DML)的文本分类方法，该方法利用LDA为文本建立主题模型，借助Gibbs抽样算法计算模型参数，挖掘隐藏在文本内主题与词的关系，得到文本的主题概率分布.以此主题分布作为文本的特征，利用DML方法为不同类别的文本学习马氏距离矩阵，从而较好的表达了文本之间的相似性.最后在学习到的文本间距离上，利用常用的KNN及 SVM分类器进行文本分类.在经典的3个数据集中的实验结果表明，该方法提高了文本分类的准确率，并且在不同的隐含主题数目参数下能体现较好的稳定性.

文本分类；距离度量学习；隐含狄利克雷分布；主题模型

随着互联网的高速发展，文本数据作为最主要的信息载体之一以指数级的速度不断增长.因此，如何有效地从海量文本数据中挖掘出有用的信息成为当前的迫切需求.文本自动分类技术作为自然语言处理的关键技术近年来广泛受到关注并得到了快速的发展，已成为当前研究的热点.文本自动分类的过程中主要的技术包括了文本的预处理、特征的提取、文本的表示、分类器的设计，以及分类效果的评估等.

在文本分类研究中，向量空间模型(Vector Space Model，VSM)[1]是数……