基于Spark平台的大数据挖掘技术研究
2017-06-27王珣
微型电脑应用 2017年6期
关键词:数据挖掘
王珣
(陕西学前师范学院 教学设备与实验室管理处, 西安 710061)
基于Spark平台的大数据挖掘技术研究
王珣
(陕西学前师范学院 教学设备与实验室管理处, 西安 710061)
大数据具备数据量大、富于多样性的特点。因此在大数据分析方面,无论是对处理速度还是实时性都具有较高的要求。数据挖掘技术是从海量数据里采用某种建模算法,用来寻找隐藏在数据背后的信息,从而让大数据产生更大的价值。Spark框架是一个针对超大数据集合的低延迟的集群分布式计算系统。本文基于该框架,对大数据挖掘技术进行了具体研究,首先完成了基于Yarn部署上Spark集群搭建,然后提出并实现了并行Apriori算法,该算法成功补充了Spark MLlib分布式机器学习库中所缺乏的关联分析问题的分布式算法。
大数据; 数据挖掘; Spark
0 引言
如今我国已进入大数据时代,每年都会产生海量的数据。预计到2020年,我们每年产生的数据总量将超过8.5ZB[1],涉及到金融,互联网,医疗等各个领域,这必然对大数据的挖掘和分析提出了更严峻的挑战。因此,在大数据时代,要进行各行各业、各种应用场景的天量数据挖掘,必然需要一个效率高、结果准确的计算平台来进行处理。
Spark由加州大学伯克利分校的AMP实验室出品,它是一个开源的计算框架,该框架可用于处理大数据的高性能分布式并行计算。Spark的主要优点在于:支持Python、Java等多语言编程,使用方便;可在大数据集上进行多种复杂查询;兼容性强,可以兼容Yarn,Mesos等多个框架;处理快速且结果精确。……
登录APP查看全文
