袁 满穆永豪王贵友于再富

(1.东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318;2.黑龙江省大庆市第十采油厂肇东分公司 信息中心,黑龙江大庆 163000)

0 引 言

随着大数据时代的到来,企业由IT时代进入DT时代,数据在企业发展中将扮演越来越重要的角色[1]。然而随着大数据的爆炸式增长,劣质数据也随之而来,导致数据质量低劣,极大降低了数据的可用性[2]。这些低劣“脏数据”的产生使这些数据质量问题会直接导致计算偏差,造成难以想象的后果[3]。其中,数据库中重复记录占用了大量的空间,直接影响数据库的使用效率[4],企业需要利用大量的数据进行某些结果的预测,但由于相似重复记录的存在,导致预测结果产生偏差,给企业决策造成很大困难。因此,如何消除数据冗余,保证数据库中高质量数据的使用成为人们面临的巨大挑战。

关于重复记录的定义,Monge[5]提出将同一实体对象对应的多条记录称之为相似重复记录。Lillibridge等[6]提出数据库中存在这样的两条记录R1、R2,其内容相同或相似,且都对应着同一个现实实体,则记录对〈R1,R2〉互为相似重复记录。李军[7]提出在同一个数据库系统中,如果出现两条或两条以上的记录,它们之间出现足够多的相同或相似的属性值,即可认定其为相似重复记录。潘玮等[8]认为重复记录是指原始数据中同一文献产生的多条相同记录,其特点是各记录的所有字段均相同。陈亮等[9]认为相似重复记录检测就是识别一对是否表示为真实世界中的同一个实体。……