蒋 权，郑山红，刘 凯，李万龙

(长春工业大学 计算机科学与工程学院，吉林 长春 130012)

0 引 言

近年来，各类信息源的存储量都呈现海量特征，以文本数据的增长最为显著，从海量文本数据中及时提取热点主题并对主题演化分析逐渐得到相关研究者的关注，由于LDA(latent dirichlet allocation)在演化领域具有独特的优势，所以，许多基于LDA模型的扩展模型相继被提出[1-4]。

C.Wang等[5]针对不同时间序列的主题分布，提出反映主题在时间上内容和强度变化的TOT(topic over time)模型，其中假设模型是基于正态分布的，但正态分布与多项式分布非共轭分布，模型参数推理和估计上是比较困难的；R.Nallapati等[6]提出多时间粒度主题演化的MTTM(multinomial topic tomography)，虽然该模型采用泊松分布作为共轭先验来建模，但不具备在线处理文本的能力；Hoffman等[7]提出的OLDA，按照数据流来划分大数据文档比批处理LDA算法快2-5倍，但OLDA主题建模需要包括细分的批处理文档大小在内的3个参数，这样会使主题模型的精度降低，并且OLDA容易产生新旧主题混合而导致不能及时的发现新的主题；崔凯等[8]基于OLDA思想提出一种在线主题演化挖掘模型；Newman等[9]得出并行的OLDA算法比批处理LDA算法的效率快700多倍的结论；Ahmed等[10]在Yahoo基于共享内存系统提出一种在多处理器提高运算速率的缓存技术。然而，这些研究都没有很好解决OLDA模型自身的缺陷。针对OLDA模型在大量主题文档集中计算时间长和新主题不能及时发现的问题，以及在并行算法中各处理器之间的通信成本很高的缺陷，提出一种分布式的DOLDA模型。……