王爽 天津师范大学 天津 300387

引言

数据挖掘把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策支持服务.大数据的出现在为人们提供研究样本的同时,又由于数据质量的参差不齐,为数据挖掘带来了一定阻碍.以致于,数据挖掘之前的数据预处理显得尤为重要.目前对数据挖掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等.而事实上数据挖掘对所处理的数据有严格的质量要求.在数据挖掘过程中数据预处理至关重要.根据统计,在一个完整的数据挖掘过程中,数据预处理要花费60%左右的时间,而后的挖掘工作仅总工作量的10%左右.数据预处理主要包括数据清理、集成、转换和归纳.数据清理是处理数据中的遗漏和清洗脏数据.数据集成将多数据源中的数据进行合并处理,解决语义模糊性并整合成一致的数据存储.数据归约将辨别出需要挖掘的数据集合,缩小处理范围.

1 数据清洗

1.1 缺失值处理

因为无法获取或遗漏等原因造成某属性值不存在,会导致在建模时丢失有用信息,空值数据也会使建模过程造成不可靠的输出. 缺失值处理的有三种方法:直接使用含有缺失值的特征;删除含有缺失值的特征,该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量有效值时是有效的;缺失值补全.常见的缺失值补全方法包括均值插补、同类均值插补、建模预测、高维映射、多重插补、极大……