张军鹏　张蕾

[摘要]海量数据的持续剧增促成大数据时代的到来，如何在信息化浪潮中挖掘“数字石油”，将大数据转换为大市场、大智慧和大生态，是我们面临的历史机遇。大数据的质量保障大数据的价值。而数据清洗的最终目的就是提高大数据的质量，本文以Hadoop平台为例介绍大数据中数据清洗并分析其处理框架。

[关键词]大数据 数据清洗 Hadoop

无所不在的移动设备、RFID、无线传感器分秒都在产生数据，数以亿计的用户互联网服务时刻在产生巨大的信息交互。要处理的数据量越来越大，而且还将更加快速地增长，传统的数据处理技术已经无法应付，大数据时代已经来临。充分利用和挖掘大数据价值，对于各行业提升用户服务质量，降低运营成本有着重要意义。大数据的维度包含了数量、多样性、速度、精确性等，在如此大维度中不可避免的存在着粗糙的、不合时宜的数据，如何将这些非洁净数据有效转化成高质量的干净数据，涉及到大数据中的数据清理工作。基于劣质数据的数据决策不仅影响效率而且存在误差，高效的数据清洗解决“非洁净数据”的问题'从而保证了原始大数据的正确性和准确性。大数据有类别繁多的典型特点，同时处理速度快亦是大数据的鲜明特征，其包含大量在线或实时数据分析处理的需求，要求时效性即1秒定律，这也给数据清洗带来巨大的挑战。

1.大数据环境下的数据清洗

目前被广泛认可的数据清洗定义为发现和清除数据中的错误和不一致来提高数据的质量，那么数据清洗的任务就是通过各种措施从准确性、一致性、无冗余、符合应用的需求等方面提高已有数据的质量。……