李碧秋，王佳斌，刘雪丽

(华侨大学工学院，泉州 362000)

0 引言

数据清洗是发现并解决数据质量问题的过程，通常包含对相似重复数据、异常数据、不一致数据等的清洗，通过数据清洗提高数据质量，使得企业能够通过数据挖掘与数据分析做出科学判断。针对相似重复数据的清洗可以降低数据库的冗余度，提高数据库的利用率。目前关于相似重复中文文本数据清洗主要包括通过预处理将句子文本这种非结构化数据转化为结构化数据进行处理；基于词语共现度或基于词袋模型的词向量判断文本是否相似；针对不同领域的特点制定相应的清洗算法；考虑中英文的差异，从词语语义角度分析记录的相似性、精确度仍不够理想。可见已有研究对中文数据清洗效率问题、算法普适性及相似性检测的准确度方面还有很大提升空间。所以本文在现有研究基础上提出利用BERT模型改进文本向量化过程，将文本转化为计算机可理解的数学表达，再求可计算的文本之间的余弦相似度，利用K-means和Canopy算法将相似重复文本聚类，实现相似重复数据的清洗。

1 文本向量化

计算机不能直接对自然语言进行计算，所以需要将文本数据转化为向量形式，再对其做数学计算。常用的文本向量化方法包括TF-IDF[1]、Word2Vec模型[2]、GloVe模型[3]、ELMo模型[4]等，但是上述方法缺失文本语义信息、不具有上下文的“语义分析”能力。2018年谷歌AI团队发布的BERT模型[5]在问答任务与语言推理方面展示了骄人的成绩。……