盛鑫海，袁鑫攀，满君丰，涂慧

（1. 湖南工业大学计算机与通信学院，湖南株洲412007；2. 中南大学信息科学与工程学院，湖南长沙410083）

基于分组指纹的细粒度相似性检测系统

盛鑫海1，袁鑫攀1，满君丰1，涂慧2

（1. 湖南工业大学计算机与通信学院，湖南株洲412007；2. 中南大学信息科学与工程学院，湖南长沙410083）

在文档相似性检测中，粗粒度会降低准确度，粒度过细又会大幅增加计算时间。针对基金项目相似性检测，在b位Minwise Hash算法的基础上，提出了一种细粒度文档相似性快速检测方法。先对文档进行预处理，提取文档正文，并生成分组指纹特征，再构建细粒度的分组指纹索引结构，利用海明距离来计算文档之间的相似性，以XML文档形式存储并显示相似信息。通过系统的实现，验证了该方法的有效性，且检索效率有所提高。

分组指纹；细粒度；文档相似性检测；海明距离

0 引言

随着信息时代的发展，数字文档（如基金项目申报文档、论文文档、网页等）呈几何级增长。由于数字文档具有易复制性，这导致项目重复申请、论文抄袭、网页重复等不良现象频频出现。大量相似文档的存在也降低了信息检索效率。因此，文档之间相似性的精确检测显得尤为重要。

在文档相似性检测中，经常出现一个文档的内容与另外一个或者多个文档具有一定的相似程度。其中，不仅仅只有两个文档完全一致的情况，还存在一些其他的相似，例如对其它文档的移位变换、重新组织文档结构等。假设一个文档F的内容全部抄袭于文档集S={S1, S2, …, Sn}，即F中的段落分别来源于文档集S中的文档，相当于文档F由集合S中的S1, S2, …, Sn拼凑而成。……