詹增荣+程丹

摘 要 提出了一种基于隐含狄利克雷分布（LDA）与距离度量学习（DML）的文本分类方法，该方法利用LDA为文本建立主题模型，借助Gibbs抽样算法计算模型参数，挖掘隐藏在文本内主题与词的关系，得到文本的主题概率分布.以此主题分布作为文本的特征，利用DML方法为不同类别的文本学习马氏距离矩阵，从而较好的表达了文本之间的相似性.最后在学习到的文本间距离上，利用常用的KNN及 SVM分类器进行文本分类.在经典的3个数据集中的实验结果表明，该方法提高了文本分类的准确率，并且在不同的隐含主题数目参数下能体现较好的稳定性.

关键词 文本分类；距离度量学习；隐含狄利克雷分布；主题模型

中图分类号 TP391.41 文献标识码 A 文章编号 1000-2537（2016）05-0070-07

Abstract A text classification method based on Latent Dirichlet Allocation （LDA） and distance metric learning （DML） were presented. The method models text data with LDA， which generate the topic distribution of different text through detecting the hidden relationship between different topics and words inside the text data， and parameters of the model are estimated with Gibbs sampling algorithm. The generated topic distribution is used as the features of the text data， and the DML method is used to learning the Mahalanobis distance metric for different classes so that the similarity between text data are well presented. Classifiers like KNN or SVM are used to classify text data based on the learning distances. Experimental results showed that this method can improve the text classification accuracy and is robust in setting different topic number.

Key words text classification； distance metric learning； latent Dirichlet allocation； topic model

随着互联网的高速发展，文本数据作为最主要的信息载体之一以指数级的速度不断增长.因此，如何有效地从海量文本数据中挖掘出有用的信息成为当前的迫切需求.文本自动分类技术作为自然语言处理的关键技术近年来广泛受到关注并得到了快速的发展，已成为当前研究的热点.文本自动分类的过程中主要的技术包括了文本的预处理、特征的提取、文本的表示、分类器的设计，以及分类效果的评估等.

在文本分类研究中，向量空间模型（Vector Space Model，VSM）[1]是数据挖掘领域经典的分析模型之一.VSM利用统计词在文本和文本集中出现的频率来表征词对文本的重要性，最终将文本表示成一个向量，并通过……