Hadoop集群效能建模与评价
2017-04-05冯东煜朱立谷张雷
冯东煜,朱立谷,张雷
(中国传媒大学 计算机学院,北京 100024)
Hadoop集群效能建模与评价
冯东煜,朱立谷,张雷
(中国传媒大学 计算机学院,北京 100024)
随着大数据技术的研究深入,Hadoop集群效能问题越来越引起业界的关注。如何有效地利用计算资源,使有限的资源发挥出最大的效能,成为大数据应用中一个迫切需要解决的问题。本文对Hadoop集群效能进行建模研究,建立以Hadoop集群单位时间完成的任务量与消耗能耗的比值来定义的Hadoop集群效能度量模型,并且基于该模型给出测量Hadoop集群效能所需的参数和度量方法。对不同硬件配置的Hadoop集群,选取CPU密集型和I/O密集型任务进行效能测试与评价。由测试结果可以得出机架服务器组成的Hadoop集群适合处理TB级的大规模数据,而PC组成的Hadoop集群更适合在要求不十分苛刻的场景处理10GB级及以下的中小规模数据,对生产环境中的Hadoop集群选型具有一定指导意义。
Hadoop;集群;效能;MapReduce
1 引言
随着大数据技术不断发展和大数据应用的不断膨胀,Hadoop作为目前最广泛使用的大数据平台,Hadoop集群能耗问题成为业界的关注重点如何有效地利用计算资源,使有限的资源发挥出最大的效能,提高Hadoop集群的效能以降低运行成本成为大数据应用中一个迫切需要解决的问题[1]。
但是现有的Hadoop集群设计选型都缺乏对系统构建最根本的因素——集群效能进行考虑,并与集群处理的负载建立关联。为此,本文对Hadoop集群效能进行建模研究,提出Hadoop集群效能度量模型。在Hadoop集群效能度量模型的基础上,对Hadoop集群进行效能测试,分析效能规律,进而对不同硬件架构的Hadoop集群效能进行评价。……
