张腾岳

(延安大学 数学与计算机科学学院，陕西 延安 716000)

随着计算机网络的普及与发展，基于互联网的各种应用层出不穷，特别是自媒体时代的到来，网络上出现了类型各异，体量巨大的数据和信息，这些数据与信息与传统时代的数据有着根本性的不同，非结构化的数据占据了很大的比重，其中包含文档信息，音频信息，图片信息和视频信息，这些数据中往往隐含着丰富的信息，对这些信息的处理已经成为目前计算机领域研究的热点，对文本信息的挖掘和处理是这些热点之一。

在文本数据挖掘的研究中，有时候需要将文档划分成若干个主题，进而可以对文本进行各种的后继处理。LDA(Latent Dirichlet Allocation，潜在狄利克雷分布)是一种文档主题生成模型。它能够将语料库中的文档自动划分为不同的主题，文档以概率的形式表示该文档归属于某个主题，而每个主题又以不同词语在该主题中占有的权重给出。LDA模型由于贝叶斯理论的支持，使得该模型被广泛的应用到文档分类[1]、文档聚类[2]、图像标注[3]、话题检测[4，5]、推荐系统[6]、情感分析[7，8]、图书自动分类[9]、文献检索[10]、数据可视化[11]、用户画像[12，13]等不同的领域。

1 算法原理及改进

1.1 算法原理

LDA由Blei D M、Ng A Y和Jordan于2003年提出[14]。它是一种文档主题生成模型，本质上是一个三层贝叶斯概率模型。LDA模型认为一篇文档包含若干主题，而每个主题又有若干词语体现，因此生成一篇文档的过程也就包含两个阶段：由文档到主题，再由主题到词语。

生成一篇文档之前，应该先确定这篇文档包含哪些主题，这些主题的分布是什么，先假设在文档中包含K个主题，这些主题在文档中的分布为θm，主题分布符合公式(1)所示的Dirichlet分布。……