王海沛，冯军军，贾如春

(四川信息职业技术学院，四川 广元 628000)

水利云下的数据清洗策略研究与实现

王海沛，冯军军，贾如春

(四川信息职业技术学院，四川 广元 628000)

随着水利信息化系统迁入云端之后，由设备或人为、环境等各种主客观原因造成采集到云数据中心的数据中含有大量的“脏数据”（如乱序、异常、相似重复、误报、不完整、逻辑错误等），这些大量的“脏数据”会给应用系统带来高额的处理费用，延长响应时间，甚至会导致数据分析异常，降低决策支持系统的准确率，严重影响系统服务质量，难以支撑上层应用。本文结合项目中的实际情况给出了清洗这些脏数据的流程和方法，并通过实际数据和实验方案验证了本数据清洗方案的有效性，大大改善了水利信息化系统预测预警的效率。

水利云；云数据中心；脏数据；数据清洗

0 引言

随着国家经济社会发展对防汛工作提出的更高要求，水利信息数据种类和数量逐年快速增长，以某市水务局为例，单日接收的雨量和流量水利数据量已由2011年的2 GB增长到目前的15 GB，每日直接接收的卫星云图数据量由2011年的2.9 GB增长到目前的40 GB，除此之外还有视频数据，图片数据等，每日需要完成接收处理的数据总量达150 GB，全年不间断运行的接收处理计算任务已由2011年40个增长到目前的近80个，分布在该市云计算中心的数据中心。

但是对水利数据进行采集时，一方面数据源是根据特定需要进行设计、部署和维护的，在将多源数据进行集成的时候往往会出现数据质量问题，如乱序、遗漏、误报、不完整。……