APP下载

面向地址数据基于ISM理论构建数据清洗规则链方法研究

2022-01-13殷滋伟王佳慧马利民

关键词:语义规则方法

殷滋伟,张 伟,2,王佳慧,马利民,2

(1.北京信息科技大学 计算机学院,北京 100101;2.北京信息科技大学 北京材料基因工程高精尖创新中心,北京 100101;3.国家信息中心 信息与网络安全部,北京 100045)

0 引言

2019年全球爆发新冠疫情,中国借助大数据等技术对感染者、疑似感染者轨迹进行追踪定位,使得疫情得到了有效防控,可见地址数据非常重要。现实生活中存在着大量以自然语言描述的地址数据,由于缺乏对地址及地址模型概念框架的有效研究,导致地址数据格式不统一,数据的存储和管理秩序混乱,造成极大不便[1]。数据清洗最早起源于20世纪50年代,从美国的社会保险号纠错开始[2]。数据清洗能有效提高数据质量,但地址数据不同于一般数据——因复杂的历史、地域、人为因素,其具有易出错的特点,同时海量的地址数据导致数据治理难度更大。

当前对于数据清洗的研究主要集中在数据挖掘、数据清洗效率和清洗框架上,将数据挖掘的方法应用在数据清洗上,采用统计、机器学习的方法来检测和消除脏数据。杨尚林[3]针对多源异构数据存在数据不精确的问题,设计了基于贝叶斯网络和粗糙集属性约减联合清洗模型;郭开彦等[4]用主动学习的方法,利用用户交互,提高数据清洗效率。何俊等[5]利用petri网建立规则链组合模型,提出一种规则链自动组合与检测方法;谢文阁等[6]引入全文索引技术对邻近排序算法(sorted-neighborhood method,SNM)算法进行改进,以此提高重复记录查找的速度和准确率,从而提升SNM算法的性能;……

登录APP查看全文

猜你喜欢

语义规则方法
撑竿跳规则的制定
数独的规则和演变
语言与语义
让规则不规则
TPP反腐败规则对我国的启示
“上”与“下”语义的不对称性及其认知阐释
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼
认知范畴模糊与语义模糊