APP下载

基于云计算及数据挖掘技术的海量数据处理研究

2013-09-18王鹏王健安郭畅巴济慈

长春理工大学学报(自然科学版) 2013年6期
关键词:数据挖掘

王鹏,王健安,郭畅,巴济慈

(长春理工大学 计算机科学技术学院,长春 130022)

随着网络技术的飞速发展,存储于计算机中的数据文件呈爆炸式的发展。这些数据又称为海量数据,这类数据常常伴随着噪声而且是异构数据,其很难直接被用户理解。如何从这样的数据里提取出规律和模式已经成为一个难题。数据挖掘作为一门能够高效的、便于扩展的解决以上问题的技术应运而生。选择云计算做海量数据的分类数据挖掘处理,可以减少构建分布式计算平台的开销,同时将底层屏蔽掉,便于开发,使得原有的设备拥有对大数据集的较高处理效率,增加了节点的个数和容错能力,提高了从海量数据中提取有效信息的能力[1,2]。

1 SPRINT算法

SPRINT算法主要包括树的创建与剪枝过程,由于在创建决策树时要求数次遍历数据,但剪枝却不需此过程,所以,对树的剪枝时间基本仅有创建数的百分之一。因此,我们把重点放在树的创建上;另外一方面,基于二叉树简洁又精准的特点,本文选择的是创建二叉树。

1.1 数据结构

SPRINT算法表示数据特征的方式是采用属性表与直方图这两种数据结构,其中,后者是依附在前者之上,而前者又是随着节点的划分而分裂的。它会依据属性的不同性质,如连续型或离散型而显现出相应的表现形式。

属性表是属性值,类标记和记录索引构成的三元组,它可以驻留在除内存外的介质上。直方图是表示节点上的一个属性所属类的分布情况,当属性是连续的数值型时,节点就涉及两个直方图:Cbelow表示已经处理完毕的样本的类型分布,而Cabove表示尚没处理的样本,它们通过不间断的刷新来找到最佳分裂点;……

登录APP查看全文

猜你喜欢

数据挖掘
基于数据挖掘的船舶通信网络流量异常识别方法
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
基于并行计算的大数据挖掘在电网中的应用
数据挖掘技术在中医诊疗数据分析中的应用
一种基于Hadoop的大数据挖掘云服务及应用
数据挖掘在高校图书馆中的应用
数据挖掘的分析与探索
基于GPGPU的离散数据挖掘研究
利用数据挖掘技术实现LIS数据共享的开发实践