APP下载

几种并行编程框架在数据挖掘领域的比较

2016-01-20何渊淘,齐兵辉

中原工学院学报 2015年3期
关键词:数据挖掘

几种并行编程框架在数据挖掘领域的比较

何渊淘, 齐兵辉

(郑州航空工业管理学院, 郑州 450000)

摘要:将机器学习并行化是进行海量数据挖掘的重要方式,但由于并行计算框架、机器学习算法的多样性,导致计算框架的选取及算法并行化存在着困难。本文对几种常见的并行计算框架的模型结构和工作机理进行了分析,根据算法中变量的依存关系将其分类,并将这几类算法进行了实验对比。实验结果表明,算法中变量的依存关系对其在并行化后的性能有巨大的影响。

关键词:MapReduce; Pregel; Hama; GraphLab; MPI; 数据挖掘

中图分类号:TP3

文献标志码:A

DOI:10.3969/j.issn.1671-6906.2015.03.021

Abstract:To slove the date mining on large dataset, the parallelizaion of algorithm is the most important solution. Due to the diversity of the parallel frameworks and the machine learning algorithms, it is difficult to choose a framework and algorithm parallelizaion. In this paper, the models and mechanism of the parallel framework are analyzed, and it is classified based on the parameter relations. In the end, the experiments are conducted and the results show that the relation of the algorithm parameters have great impact on the performance

由于传感技术和通信网络的发展,数据收集和存储的规模在飞速增大,如何从海量数据中挖掘出有效的信息是当前的研究热点。目前较为普遍的方案是采用机群系统和分布式框架来提高数据处理的效率[1-2]。由于数据挖掘算法本身的差异,导致其在不同的并行框架下有着显著的性能差异。本文在常见的并行框架下比较了几种数据挖掘算法,并根据实验结果分析了不同算法在并行计算框架下的适用性,为机器学习算法的并行化提供了实验依据。

1常见的并行计算框架

海量数据处理的关键在于把问题分解为“映射”和“规约”两种操作,“映射”将数据集进行分割和处理,而“规约”则将“映射”后的结果进行整理和归纳。并行计算框架将并行节点中复杂的“通讯”“同步”工作进行了封装,极大降低了数据处理的难度。并行框架的模型分为三类:基于消息传递的模型、基于数据流的模型、基于图的模型[2]。……

登录APP查看全文

猜你喜欢

数据挖掘
基于数据挖掘的船舶通信网络流量异常识别方法
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
基于并行计算的大数据挖掘在电网中的应用
数据挖掘技术在中医诊疗数据分析中的应用
一种基于Hadoop的大数据挖掘云服务及应用
数据挖掘在高校图书馆中的应用
数据挖掘的分析与探索
基于GPGPU的离散数据挖掘研究
利用数据挖掘技术实现LIS数据共享的开发实践