刘政宇

摘要：本文探讨了数据清洗技术，研究了大数据的数据清洗技术及运用，希望为研究数据清洗技术的专家和学者提供理论参考依据。

關键词：大数据;数据清洗技术;应用

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2019）04-0092-01

0 引言

大数据时代来临，数据的类型多样化，数据的数量增多，这给数据清洗带来一定的问题，如何科学有效的对数据清洗，满足现代企业发展需要。传统的数据清洗方法已经不适合现代社会发展需要，尤其大数据时代数据的多元化，必须更新现在数据清洗技术，提高数据清洗的能力，满足大数据时代数据清洗的需要。

1 数据清洗技术概述

数据在采集的过程中出现错误的数据是一种正常现象，一旦数据在应用与模型中已经形成，需要在数据库中对错误数据进行处理，这时候需要发挥数据清洗技术的作用。为了提高数据质量而剔除数据中错误记录的一种技术手段，在实际应用中通常与数据挖掘技术、数据仓库技术、数据整合技术结合应用。在具体数据清洗的过程中，根据清洗数据的特点，需要选择合适的数据清洗方式，同时选用其它数据分析相应的数据技术，对错误的数据进行科学有效的清洗，达到数据清洗的目的。

数据清洗技术的基本原理为：在分析数据源特点的基础上，找出数据质量问题原因，确定清洗要求，建立起清洗模型，应用清洗算法、清洗策略和清洗方案对应到数据识别与处理中，最终清洗出满足质量要求的数据。……