张 辉，魏 东，乔 璐，李丹丹，张玉尧，郑国清，冯 晓

（1. 河南省农业科学院农业经济与信息研究所，河南郑州 450002；2. 河南省智慧农业工程技术研究中心，河南郑州 450002）

随着大数据时代的到来，数据清洗逐渐成为各行各业数据治理中面临的重要工作[1‑4]。统计年鉴是我国重要的基础性数据资源，涉及众多行业和领域，具有权威性和广泛性。农业领域宏观决策及科学研究往往需要大量多种类统计年鉴数据作为支撑[5‑8]。然而，各种类统计年鉴分年度独立成册，经多年积累，具有体量大、文件格式多样、指标名称不一致等特征，提取跨年鉴、跨年度、多指标数据工作量大且繁琐，严重阻碍了统计年鉴的分析利用效率。目前，运用大数据理念实现统计年鉴传统功能的突破和拓展已成为年鉴工作者的共识[9‑10]，数据清洗在其中扮演了关键角色。将分散的多年、多种类统计年鉴数据清洗整合成1 套高标准规范数据集，以实现综合快速查询，对于提升统计年鉴分析利用效率具有重要作用。

国内外很多学者对结构化数据清洗技术开展了研究，郝爽等[11]深入总结了数据缺失、数据冗余、数据冲突、数据错误等数据噪音的检测及消除技术研究进展，已有研究成果表明，统计年鉴数据清洗已具备技术基础。但是，统计年鉴数据的清洗涉及多类数据噪音的检测及消除，并需经过一系列数据抽取、转换、比对，过程繁杂。采用流程化集成清洗是完成过程繁杂清洗任务的有效手段。……