王　格　吴　钊　李　向

(1.湖北文理学院数学与计算机科学学院　襄阳　441053)(2.中国地质大学(武汉)计算机学院　武汉　430074)



基于全文检索的文本相似度算法应用研究*

王格1,2吴钊1李向2

(1.湖北文理学院数学与计算机科学学院襄阳441053)(2.中国地质大学(武汉)计算机学院武汉430074)

摘要在大量的文本数据中,针对不能快速有效地提取或查找有用信息及知识这个问题,以文本相似度计算为基础的文本数据挖掘成为数据挖掘研究领域里的一个重要的课题。论文主要研究两种不同的方法VSM余弦算法和Simhash来实现文本相似度的计算,首先采用传统的VSM余弦算法和Simhash算法,按照余弦公式通过内积最终计算出文本间的相似度大小n(0

关键词文本相似度; 余弦VSM; Simhash

Class NumberTP301.6

1　引言

文本相似度计算[1]是自然语言处理的一部分,可以计算一个文本中不同词条的相似度,可以计算两个文本间的相似度,也可以进行批处理,对多个文本之间进行两两计算,并输出文本相似度的最后结果。在机器翻译中,相似度可看作是用于衡量文本中词语的可替换程度的参数;在信息检索中,又可理解为文本内容与用户想要搜索的资料的符合程度[2]等。

随着科技的进步,计算机的普及以及Internet的飞速发展,文本信息的大量增长,文本相似度计算在信息检索的效率提高方面,对于发表的文章中抄袭的检测,对于文章相似信息进行压缩存储以便节省存储空间的方面都起到了很大的作用。然而对于英文的文本相似度计算的时候,英文单词本身是有空格分开的,这样以单词来处理一个英文文本进行比较就很简单。……