数据时效性判定:关键理论和技术
2017-05-08李默涵李建中
智能计算机与应用 2016年6期
关键词:数据质量
李默涵++李建中
摘要: 当前,随着大数据时代的来临,数据质量问题受到越来越多的关注。数据质量会随着时间的流逝迅速下降,因此在数据质量的各个维度中,数据时效性扮演的角色至关重要。判定一个给定的数据集合的时效性是确保数据时效性是第一步,但数据时效性的判定并非易事,其面临极大挑战。本文针对时效性判定问题面临的各个挑战,综述了当前该领域针对绝对时效性判定和相对时效性判定的关键理论和技术,分析了现有的各方法的优缺点,并对未来的研究方向给出了建议。
关键词:数据质量; 数据时效性; 时效性判定
中图分类号: TP391.41
文献标志码:A
文章编号: 2095-2163(2016)06-0072-04
0引言
随着大数据时代的到来,数据的“量”在飞速增长,但与此同时,数据的“质”的下降也成为了不可忽视的问题。多家机构的统计数据表明,当前各行各业中信息的可用性(即数据质量)问题亟待解决。在美国,企业中有1%~30%的数据存在各种质量问题[1],医疗中有13.6%~81%的组成是不完整、或过时数据[2]。同时,根据国际著名科技咨询机构Gartner的调查结果,即使是在那些著名企业,如全球财富1 000强的企业中,也有超过25%的企业其信息系统中的关键信息不正确或不准确[3]。如果不能够及时有效地针对这些数据质量问题提供全面完整解决,就必将会对国民生活和企业决策形成不可预知的恶劣影响。事实上,已有多次调查结果陆续表明,如上的数据质量问题每年都会在全球范围内造成重大不良效应后果:数据质量问题在美国引发的医疗事故所导致的死亡人数高达98 000名,约等于总医疗事故致死人数的一半[4];……
登录APP查看全文
