几种并行编程框架在数据挖掘领域的比较
2016-01-20何渊淘,齐兵辉
几种并行编程框架在数据挖掘领域的比较
何渊淘, 齐兵辉
(郑州航空工业管理学院, 郑州 450000)
摘要:将机器学习并行化是进行海量数据挖掘的重要方式,但由于并行计算框架、机器学习算法的多样性,导致计算框架的选取及算法并行化存在着困难。本文对几种常见的并行计算框架的模型结构和工作机理进行了分析,根据算法中变量的依存关系将其分类,并将这几类算法进行了实验对比。实验结果表明,算法中变量的依存关系对其在并行化后的性能有巨大的影响。
关键词:MapReduce; Pregel; Hama; GraphLab; MPI; 数据挖掘
中图分类号:TP3
文献标志码:A
DOI:10.3969/j.issn.1671-6906.2015.03.021
Abstract:To slove the date mining on large dataset, the parallelizaion of algorithm is the most important solution. Due to the diversity of the parallel frameworks and the machine learning algorithms, it is difficult to choose a framework and algorithm parallelizaion. In this paper, the models and mechanism of the parallel framework are analyzed, and it is classified based on the parameter relations. In the end, the experiments are conducted and the results show that the relation of the algorithm parameters have great impact on the performance
由于传感技术和通信网络的发展,数据收集和存储的规模在飞速增大,如何从海量数据中挖掘出有效的信息是当前的研究热点。目前较为普遍的方案是采用机群系统和分布式框架来提高数据处理的效率[1-2]。由于数据挖掘算法本身的差异,导致其在不同的并行框架下有着显著的性能差异。本文在常见的并行框架下比较了几种数据挖掘算法,并根据实验结果分析了不同算法在并行计算框架下的适用性,为机器学习算法的并行化提供了实验依据。
1常见的并行计算框架
海量数据处理的关键在于把问题分解为“映射”和“规约”两种操作,“映射”将数据集进行分割和处理,而“规约”则将“映射”后的结果进行整理和归纳。并行计算框架将并行节点中复杂的“通讯”“同步”工作进行了封装,极大降低了数据处理的难度。并行框架的模型分为三类:基于消息传递的模型、基于数据流的模型、基于图的模型[2]。……
