苑严伟 徐 玲 冀福华 郭大方 安 飒 牛 康

(中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室， 北京 100083)

0 引言

农机大数据平台建设是推进现代农业生产信息化、智能化、精准化的重要环节[1-7]。随着北斗系统、5G通信、物联网等技术迅速发展，大数据平台不断完善，入网农机数量猛增，数据规模不足问题得到缓解，但数据质量问题成为阻碍平台发展的新瓶颈。据统计，大型数据集中的错误率约为5%[8]。数据清洗能够减少“Garbage in, garbage out”现象，但所需时间很长，一般约占数据分析总时间的60%～80%[9-10]。准确高效的数据清洗方法能够提高平台分析决策的可靠性和时效性，是农机大数据平台发展的重要基石。

国内外关于数据清洗的研究主要集中在异常数据检测[11-17]方面，对异常数据修复的研究较少。处理异常数据的传统方式有直接保留、删除和人工填充等，其效果不够理想。ETL(Extract transform load)工具虽然能够实现数据抽取、转换和加载，但是修复能力较弱，不能满足应用需求。文献[18]针对工业大数据中的高维时间序列数据，基于领域知识支持，开发了在线与离线相结合的数据清洗系统Cleanits。文献[19]针对时间序列异常数据修复问题，提出将时间相关特性与最小变动原理相结合的IMR(Iterative minimum repairing)框架。文献[20]针对平滑过滤方法严重更改原始数据、且已有算法不支持流数据计算的问题，提出利用数据浮动速度函数修复高度异常数据的方法。文献[21-23]利用Spark分布式计算框架加快了大数据清洗流程。目前，已有数据清洗算法均未充分利用数据间的相互关系，对原始数据改动大，不适用于具有大规模、多源异构、高维度、强时空相关等特点的农机实时流数据。……