APP下载

基于Spark平台的大数据挖掘技术研究

2017-06-27王珣

微型电脑应用 2017年6期
关键词:数据挖掘

王珣

(陕西学前师范学院 教学设备与实验室管理处, 西安 710061)

基于Spark平台的大数据挖掘技术研究

王珣

(陕西学前师范学院 教学设备与实验室管理处, 西安 710061)

大数据具备数据量大、富于多样性的特点。因此在大数据分析方面,无论是对处理速度还是实时性都具有较高的要求。数据挖掘技术是从海量数据里采用某种建模算法,用来寻找隐藏在数据背后的信息,从而让大数据产生更大的价值。Spark框架是一个针对超大数据集合的低延迟的集群分布式计算系统。本文基于该框架,对大数据挖掘技术进行了具体研究,首先完成了基于Yarn部署上Spark集群搭建,然后提出并实现了并行Apriori算法,该算法成功补充了Spark MLlib分布式机器学习库中所缺乏的关联分析问题的分布式算法。

大数据; 数据挖掘; Spark

0 引言

如今我国已进入大数据时代,每年都会产生海量的数据。预计到2020年,我们每年产生的数据总量将超过8.5ZB[1],涉及到金融,互联网,医疗等各个领域,这必然对大数据的挖掘和分析提出了更严峻的挑战。因此,在大数据时代,要进行各行各业、各种应用场景的天量数据挖掘,必然需要一个效率高、结果准确的计算平台来进行处理。

Spark由加州大学伯克利分校的AMP实验室出品,它是一个开源的计算框架,该框架可用于处理大数据的高性能分布式并行计算。Spark的主要优点在于:支持Python、Java等多语言编程,使用方便;可在大数据集上进行多种复杂查询;兼容性强,可以兼容Yarn,Mesos等多个框架;处理快速且结果精确。……

登录APP查看全文

猜你喜欢

数据挖掘
基于数据挖掘的船舶通信网络流量异常识别方法
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
基于并行计算的大数据挖掘在电网中的应用
数据挖掘技术在中医诊疗数据分析中的应用
一种基于Hadoop的大数据挖掘云服务及应用
数据挖掘在高校图书馆中的应用
数据挖掘的分析与探索
基于GPGPU的离散数据挖掘研究
利用数据挖掘技术实现LIS数据共享的开发实践