时序数据错误检测与修复研究综述
2021-03-01丁小欧王宏志靳贺霖
智能计算机与应用 2021年12期
丁小欧,王宏志,靳贺霖,高 猛
(哈尔滨工业大学 计算机学科与技术学院,哈尔滨 150001)
0 引 言
目前,数据正以前所未有的速度不断产生。随着各种各样数据采集设备的普及使用,海量的时序数据日以继夜的被积累和使用。带有时间标记的时间序列数据,能够帮助分析人员对历史记录进行有效建模,通过整合相应时间段的有关资料,挖掘提炼有价值的信息。但是,实际的时序数据中广泛存在数据质量问题。低质量的时态数据,不仅导致数据预处理环节需消耗大量人力物力成本,而且也会导致在实际应用数据挖掘与知识提取分析结果发生偏差和错误。随着数据应用对数据质量要求的提高,时序数据的质量问题也逐渐引起研究领域和应用领域的更多关注,而数据清洗技术是提高时序数据质量的有效方法。
本文聚焦时序数据清洗研究中错误数据的检测与修复两个主要环节,对时序数据质量管理研究进展及研究现状进行评析;介绍了通用数据清洗流程;分别介绍时序数据中的错误数据检测、以及错误数据修复技术研究进展,并提出未来研究展望。
1 时序数据质量研究评析
2002 年,在综述文献[1]中,国内首个对数据质量和数据清洗进行了全面分析介绍工作。随后,在大数据高速发展的时期,数据可用性问题得到广泛关注。围绕着数据一致性、精确性、完整性、时效性、实体同一性这5 个核心问题,国内研究人员做了大量工作。2016 年,综述文献[2]对大数据可用性进行了深刻剖析,从表达机理、判定理论、演化原理等方面进行详细介绍,并提出了量质融合管理、劣质容忍计算、深度演化机理等多个具有挑战性的问题。……
登录APP查看全文
