吉志薇

（南京师范大学 文学院，江苏 南京 210097）

改进的TF-IDF算法在作品抄袭判定中的应用
——以《梦里花落知多少》和《圈里圈外》为例

吉志薇

（南京师范大学 文学院，江苏 南京 210097）

TF-IDF算法在文本相似性的度量中有着广泛地应用，但也存在着明显的缺陷。本文运用一种综合考虑词频、逆向文本频率、类间信息熵和类内信息熵四个方面的改进的TF-IDF算法计算了郭敬明的《梦里花落知多少》和庄羽的《圈里圈外》的相似性，从定量的角度判定了前者的确抄袭了后者。

TF-IDF算法 文本相似度 梦里花落知多少 圈里圈外

0.引言

目前在国内外，文学作品、学术著作的抄袭行为广泛存在，这种现象不仅侵犯了原作者的著作权，也助长了不良的学术风气。因此，加强对作品抄袭的判定研究有着巨大的价值。作品抄袭的判定研究是建立在对数字文本的分析处理基础上的。数字文本可分为自然语言文本（比如小说、论文等）和形式语言文本（例如数据文件、计算机程序代码等）。形式语言文本具有严格的形式化语法、清晰的语义表达、容易分析处理，所以形式化的语言文本的抄袭判定研究已经取得了丰硕的成果。而自然语言文本，由于没有形式化语法约束、语义具有歧义性的缺陷，较难进行抄袭判定。直到1991年用于查询重复基金申请书的软件Word Check出现及应用，自然语言文本的抄袭判定研究才有了较大的进展。①

判定作品抄袭的研究思路是：将作品看作一系列标记（token）的集合，这些标记可以是字符、词、句、段落和章节等。……