R语言在数据预处理中的开发应用
2012-10-08肖颖为
杭州电子科技大学学报(自然科学版) 2012年6期
肖颖为,葛 铭
(杭州电子科技大学信息与控制研究所,浙江杭州310018)
0 引言
目前数据的主要研究方向集中在挖掘技术和算法领域,但现实中的数据错综复杂,对数据的业务理解因人而异,数据源不统一,系统故障,操作不规范等等原因数据将不可避免的存在缺失数据、冗余数据、不一致数据等情况,这些“脏数据”将极大影响整个数据挖掘的建模过程导致错误的模型[1]。大量实践证明,在数据挖掘系统中,数据前期的理解和预处理阶段要花费60%左右的时间,要得到一个准确的模型,高质量的数据是必不可少的,所以在建模前期如何提取数据元信息,如何与专家和业务人员沟通来理解分析数据是非常重要的。而统计方法是强有力的诊断分析工具,能以此来促进挖掘模型中的参数估计、变量的假设检验和其他此类方法的发展[2],为此,本文提出引入目前在统计学领域发展最快的R语言工具来辅助对数据的理解和预处理,参考业内公认的商业数据挖掘模型CRISP-MD,搭建了一个简单的分析流程,并使用某家电信公司的客户数据进行测试分析,并取得了良好的分析效果。
1 R语言特征
R是一种为统计计算和图形显示而设计的语言环境,是贝尔实验室的Rick Becker,John Chambers和Allan Wilks开发的S语言的一种实现。其主要特点是具备一系列连贯而又完整的数据分析中间工具,拥有一整套数组和矩阵操作运算符能有效地处理保存数据,其图形统计功能可以对数据直接进行分析和显示,加上R是一种面向对象的可编程语言,和其它编程语言、数据库之间有很好的接口[3]。……
登录APP查看全文
