面向地址数据基于ISM理论构建数据清洗规则链方法研究
2022-01-13殷滋伟王佳慧马利民
北京信息科技大学学报(自然科学版) 2021年6期
殷滋伟,张 伟,2,王佳慧,马利民,2
(1.北京信息科技大学 计算机学院,北京 100101;2.北京信息科技大学 北京材料基因工程高精尖创新中心,北京 100101;3.国家信息中心 信息与网络安全部,北京 100045)
0 引言
2019年全球爆发新冠疫情,中国借助大数据等技术对感染者、疑似感染者轨迹进行追踪定位,使得疫情得到了有效防控,可见地址数据非常重要。现实生活中存在着大量以自然语言描述的地址数据,由于缺乏对地址及地址模型概念框架的有效研究,导致地址数据格式不统一,数据的存储和管理秩序混乱,造成极大不便[1]。数据清洗最早起源于20世纪50年代,从美国的社会保险号纠错开始[2]。数据清洗能有效提高数据质量,但地址数据不同于一般数据——因复杂的历史、地域、人为因素,其具有易出错的特点,同时海量的地址数据导致数据治理难度更大。
当前对于数据清洗的研究主要集中在数据挖掘、数据清洗效率和清洗框架上,将数据挖掘的方法应用在数据清洗上,采用统计、机器学习的方法来检测和消除脏数据。杨尚林[3]针对多源异构数据存在数据不精确的问题,设计了基于贝叶斯网络和粗糙集属性约减联合清洗模型;郭开彦等[4]用主动学习的方法,利用用户交互,提高数据清洗效率。何俊等[5]利用petri网建立规则链组合模型,提出一种规则链自动组合与检测方法;谢文阁等[6]引入全文索引技术对邻近排序算法(sorted-neighborhood method,SNM)算法进行改进,以此提高重复记录查找的速度和准确率,从而提升SNM算法的性能;……
登录APP查看全文
