过云燕，李建中

(哈尔滨工业大学 海量数据计算研究中心，哈尔滨 150001)

0 引 言

主题模型(Topic Modeling)是一类重要的机器学习(Machine Learning)算法，可以从已有的文档集合中发现潜在的混合主题，这是其成为用来推断知识的无监督学习工具[1]。潜在狄利克雷分配(Latent Dirichlet Allocation)作为最重要的主题模型的问题设定，在过去十年的实践中已经显示其不可或缺的作用[2]。其假设每个潜在主题是由字典中多个单词混合组成的，而每个文档是由多个主题混合组成的，基于这两个假设，可以通过生成模型生成文档集。

潜在狄利克雷分配已被广泛应用于机器学习的多个不同领域，包括信息检索、文本分析、数据可视化、在线广告、推荐系统和网络分析[3]。这些领域不断收集待处理的数据，引发了大数据时代的到来，目前数据的增长速度早已远超硬件能力的增长速度，因此分布式平台的使用成为大数据训练的主流解决方案。现有相关综述汇总的潜在狄利克雷分配的算法研究，停留在解决应用数学问题的阶段。分布式潜在狄利克雷算法的设计包含系统工程问题，如设计数据和模型的划分与聚合、算法复杂性、通信计算平衡性等许多方面，需要对相关研究依据不同方法进行分类综述。

潜在狄利克雷分配可以通过两大类算法来求解，分别是马尔科夫链蒙特卡洛(MCMC)和变分推断(VI)。MCMC算法对一个马尔可夫链进行采样，并用链上的样本来逼近后验概率的分布，该样本是渐近精确的。VI算法试图找到一个分布族中能够最小化估计后验概率和精确后验概率之间的KL距离的分布，将原来的推理问题转化为优化问题。……