分布式数据库中基于局部CON模型的记录匹配方法
2011-11-06李娇刘全傅启明王庭钢
通信学报 2011年7期
李娇,刘全,傅启明,王庭钢
(1. 苏州大学 计算机科学与技术学院,江苏 苏州 215006;
2. 哈尔滨工业大学 计算机科学与技术学院,黑龙江 哈尔滨 150001)
1 引言
数据记录匹配是数据质量管理领域十分重要的研究主题之一。其中,对于大规模的分布式数据记录匹配是一个基础而又关键的任务,因为获取数据的准确性将对应用产生较大的影响。有统计数据显示,美国每年平均有19.5万余人死于医疗事故,而相当数量的医疗事故是由劣质数据(不一致、不匹配或不完全数据)造成的[1],因此对数据记录的匹配已被公认为是数据管理的首要问题之一。
记录匹配最早在20世纪40年代应用于医疗领域,当时的目的是识别不同数据库的相同个体的医疗记录,以用于对传染病的研究。随着近年来信息的激增,记录匹配处理也越来越受到人们的重视。它不仅应用于医疗领域,在商业领域也有重要的作用,它能检测信用卡欺诈和洗钱行为,甚至还能为税务局在信息不完全的情况下,识别相同的纳税人。关于这一问题已有大量的研究工作,但现有的记录匹配工具需要相关领域专家大量的人工参与,或严重依赖于概率式启发规则或者学习式的启发规则,并且还没有形成成熟的针对分布式数据记录匹配的研究。相关的研究如文献[2]针对 Web数据库提出了一种无监督的在线的记录匹配方法UDD,旨在从结果记录中去除重复记录用作训练实例,减轻了人工标记训练实例的麻烦。……
登录APP查看全文
