基于模糊综合评判和长度过滤的SNM改进算法
2017-08-08郭文龙董建怀
武汉工程大学学报 2017年4期
关键词:检测
郭文龙,董建怀
福建江夏学院电子信息科学学院,福建 福州 350108
基于模糊综合评判和长度过滤的SNM改进算法
郭文龙,董建怀
福建江夏学院电子信息科学学院,福建 福州 350108
为了提高数据库的数据质量,需要对相似重复记录进行清洗,基本邻近排序算法是目前常用的清洗算法之一.针对判重过程中属性权值计算主观性过强的问题,提出通过多用户综合评判确定属性权值的方法,该方法能更客观地评判属性的重要性程度.在此基础上,结合属性权值计算两条记录的长度比例,排除不可能构成相似重复的记录,减少了比较次数,提高了检测效率.实验结果表明改进算法在查全率、查准率及时间效率等方面均有所提高.
相似重复记录;模糊综合评判;属性;长度过滤;SNM;算法
当前,全球各行各业均组建了可以管理和推广自身业务的管理信息系统,如何有效管理和利用各类数据资源,是科学研究和决策支持的前提.随着信息化水平的不断提高,全球的各类数据库中存储的数据都呈现井喷式的增长.诸如银行、证券公司、通信公司等数据库的存储量均在百万以上,且可以预见随业务扩张的趋势将继续推动数据增长;而政府的人口基础数据库的数据量更是以亿计.在这些数据量庞大的数据库中存在着诸多重复数据,如何清理相似重复数据便成了亟需解决的问题.
目前常用的相似重复记录清洗算法是基本邻近排序算法(basic sorted-neighborhood method,SNM)[1-3].该算法……
登录APP查看全文
