王旭东，段敬，温志坚，楼颖稚，陈伟，孔德云，黄豆豆

（1.国网山西省电力公司信息通信分公司，太原 030001；2.北京中电普华信息技术公司，北京 110000）

0 引言

随着大数据时代的快速发展，数据的质量问题无疑成为相关人士的研究重点之一。由于数据量特别庞大，导致人们在使用数据的过程中发现了诸多的质量问题，例如脏数据，其中最突出的问题之一就是存在很多相似重复数据，为此，本文将针对数据的相似重复性展开深入地研究。

本文通过研究N-Gram算法，发现了其存在两个缺陷，一是其只针对英文数据库，缺少对汉字的处理；二是对待清洗数据进行相似去重操作时，由于比较时采用特定大小的滑动窗口，降低了去重效率。基于以上两个问题，特提出了一种改进的N-Gram算法，不仅引入了适合中文数据库的算法，而且在对相似度高的数据记录进行去重操作时，采用动态滑动窗口策略，大大提高了算法的精确度。

1 数据预处理

（1）对待清洗的数据记录进行预处理时，需要去掉记录中的所有的空格、换行、&、*、/等特殊符号以及一些难以辨识或无任何含义的字符。

（2）例如一些不能公开的数据（身份证号、银行卡号、手机号等）或者在数据库中存在的大量的相同的字符串（如金额单位），通常用特殊字符******、￥等代替。

（3）对于数据记录中的所有大小写不一的字母，统一大写或小写，便于比对。

（4）对于一些人名、地名、机构名等，通常用众所周知的简称进行替换，如地名“上海”与“沪”可以相互替换。……