刘 勘，朱芳芳

中南财经政法大学 信息与安全工程学院，武汉 430073

基于潜在语义索引的科技文献主题挖掘

刘 勘，朱芳芳

中南财经政法大学 信息与安全工程学院，武汉 430073

1 引言

目前，科技文献的数量正呈爆炸式增长，这给科技文献的有效检索带来了巨大的挑战，人们花费在文献检索上的时间越来越多，却仍然感到很难快速精确地检索到所需要的科技文献。本文引入主题建模的思想，通过对初次检索的科技文献集建立词汇-文献矩阵，引入潜在语义索引（Latent Semantic Indexing，LSI）方法来降低矩阵的维度，以发掘这些文献所蕴含的潜在主题，用户进而可以根据这些主题查找所需文献，大大提高文献检索的效率和准确度。

2 相关研究

1983年Gerard Salton和Michael J.McGill[1]提出的LSI是目前常用的潜在主题建模方法。Scott Deerwester等[2]将LSI方法用于检索分析，假设文本中的词与词之间存在某种潜在的语义结构，采用统计方法寻找这些潜在的语义结构，用来表示词、文本和用户检索信息，从而达到消除词与词之间的相关性、化简文本向量的目的。Thomas Hofmann[3]提出的Probabilistic Latent Semantic Indexing是一种基于混合分解的概率统计模型，可用于信息检索、信息过滤和自然语言处理。Padhraic Smyth[4]提出并行的自动文件索引方法。David Blei等[5]提出的LDA是一种生成离散数据集合的三级分层贝叶斯模型。这些主题挖掘方法的中心思想是将从文本提取的主题词集中的每个词作为一个主题有限混合模型，而每个主题是无限混合的潜在主题的概率模型，这样可以通过主题概率建模，将文本映射到主题空间中，得到文本与主题的关系。……