张治斌++刘威

摘要：无论在数据分析还是数据挖掘过程中，数据预处理都处于重要的地位和作用，占据数据挖掘过程总工作量的60-80%，数据预处理过程决定着数据挖掘结果的准确性和有效性，本文主要针对数据预处理的基本工作内容进行介绍。

关键词：数据预处理；数据挖掘；过程；数据清洗

中图分类号：TP39 文献标识码：A 文章编号：1007-9416（2017）10-0216-02

现实世界的数据库系统中的数据量迅速膨胀，目前数据存储的数量级已经达到G-T-P的级别，由于用户输入、数据库设计与界面设计等各种原因，在海量的数据中难免会出现各种不符合分析需求的噪声数据、空缺值、缺失值；有些数据描述不完整；在进行数据整合与合并时，不同数据源的统一属性字段存在不一致性的情况，为了使数据挖掘的结果能够可观、真实反映历史数据的情况，为用户提供精确的指导建议，所以在数据挖掘之前进行数据预处理工作，改善和提高数据质量非常必要。

1 数据挖掘过程介绍

数据挖掘也叫做资料勘探或数据采矿，从宏观上定义为从海量的各类数据中通过某种算法探索隐匿的信息和知识的过程，许多人把数据挖掘视为数据库知识发现（KDD）的同义词，知识发现的过程如图1所示。

在上述数据挖掘工作中的数据清理与集成、数据选取与变换过程就是数据预处理过程，所谓数据预处理指的是在进行挖掘前对数据进行一些必要的处理，其主要过程包括：数据选取、数据转换和数据加载的过程，这一过程也被称作ETL，数据预处理是数据挖掘的基础，通过研究发现，数据预处理过程要花费整个挖掘过程的60-80%左右的时间和精力。……