范庆春, 王欣莲

摘要：目前，人工筛选查重是高校筛选学生毕业论文选题是否重题的常用方法。但是面对大量的毕业设计选题，该方法容易出现遗漏遗忘、工作效率低下的问题。为了克服人工筛选的缺点，该研究分别使用了余弦相似度、逆文本频率、BM25和Jaccard等四种计算文本相似度的算法计算句子之间的相似度。对各种算法的实验结果进行了分析后，本文提出了逆文本频率与余弦相似度相结合的算法，该算法在蚂蚁金融自然语言处理竞赛数据集和LCQMC数据集下F1最高可以达到0.79。实验表明，数据集越大，精确度越高。最后，将本文的算法用于毕业设计选题的查重。该算法可以有效弥补人工筛选的缺陷，提高了选题查重的工作效率。

关键词： 文本相似度;wod2vec;jieba分词;选题查重

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2021）26-0179-04

开放科学（资源服务）标识码（OSID）：

1引言

本科生在大四的时候都要选定自己的毕业论文题目，人工筛选是筛选学生论文题目是否重题最常用的方法。人工处理的方式主要是凭借着对题目的记忆和反复查找来确认该选题是否重题。该方式当毕业论文题目数量较多时，其工作效率比较低，并且容易出现遗漏。随着软件技术的发展，计算文本相似度的方法越来越多，从刚开始的关键词匹配这种较为传统的方法，到现在最火热的机器学习方法是将文本映射到向量空间，使其数字化，变成向量。我们切身体会到自然语言处理技术已经广泛应用于我们的生活之中，给生活带来了很大的便利，如谷歌等搜索自动更正和自动完成，有道词典等语言翻译软件，小度等聊天机器人，Siri等语音助手[1]。……