郭剑峰，刘金朝，陶凯，代春平，高佳佳，张川

（中国铁道科学研究院集团有限公司基础设施检测研究所，北京 100081）

0 引言

随着信息技术的飞速发展与业务数据的不断积累，国内外各行各业在数据应用之前都面临着对数据进行综合治理的实际问题。近年来，数据成为一种无形资产的概念逐渐深入人心，数据综合治理和数据资产管理的重要性也愈发凸显。

国内外诸多学者研究了数据综合治理技术，并将这种技术应用在对铁路基础设施检测数据的综合治理过程中。1995年，新西兰怀卡托大学的Garner等［1］开发了怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），研发了首个JAVA环境下的开源数据挖掘软件，具有简单的数据治理功能，可以实现数据清洗、集成、规约、变换等基本功能。1998年，美国IBM公司研发了IBM Intelligent Miner工具［2］，支持对商业数据的清洗、统计挖掘和关联分析等数据处理功能，利用模糊逻辑和神经网络技术处理原始数据中的不规范表达式等问题，使用数据的前后逻辑关系进行推理，自动填补数据中的缺失值。2005—2010年，美国谷歌公司先后研发了 Google Sawzall［3］、Google Dremel［4］和Google Flume Java［5］等工具，实现了对PB级海量结构化数据的快速查询统计、数据格式转化和数据清洗等治理功能，借助于Hadoop大数据分布式系统架构，支持简单的并行计算，形成了一系列的通用数据治理工具。利用这些交互式的通用数据治理工具，可以组建成规模上千的集群，对PB级的海量数据快速治理。

上述通用数据治理工具存在数据治理手段较为简单、对数据各个维度之间的关联关系和每一个维度时间序列的历史变化等关系处理不足等缺点，导致了通用数据治理工具对专业数据治理的操作能力不足。……