马燕龙　吴　云

(贵州大学计算机科学与技术学院　贵阳　550025)



基于Dpark的数据分析方法的性能研究*

马燕龙吴云

(贵州大学计算机科学与技术学院贵阳550025)

摘要随着大数据时代的来临,以Hadoop和Spark为首的开源分布式计算框架主导着相关行业的事实标准。然而,无论是使用Java编写的Hadoop,还是使用Scala编写的Spark,使用及对其进行二次开发的难度都比较大,而使用Python编写的分布式计算框架Dpark,具有继承自Spark的内存计算和惰性求值机制,结合Python的简洁语法,同时又配合分布式文件系统MooseFS、分布式数据库Beansdb和分布式资源调度框架Mesos,可以极大提高数据分析的工作效率。文章主要对比了传统Python程序和基于Dpark的Python程序在完成数据预处理工作上的运行效率,得出后者的性能和可扩展性至少优于前者数十倍的结论。

关键词Dpark框架; 集群部署; 数据预处理

Class NumberTP311.5

1　引言

随着信息技术的飞速发展,云计算已经成为当前计算机相关行业热议的话题,“互联网+”也成为国家从上到下大力研究的课题。

云计算涉及的技术非常广泛,基本来说,数据的存储需要用到分布式文件系统和分布式数据库,资源的管理调度需要用到分布式资源调度系统,数据的计算需要用到分布式计算框架,文章重点研究由北京豆网科技有限公司开发并开源的分布式计算框架——Dpark[1],在Dpark之外,文章部署的云计算平台采用了分布式文件系统MooseFS[2]、分布式数据库Beansdb[3]和分布式资源调度系统Mesos[4]。

2　Dpark概述

毋庸置疑,由Apache基金会开发的分布式计算框架Hadoop[5]已经成为大数据处理事实上的工业标准,同时它也是最著名的MapReduce[6]开源框架。……