APP下载

支持云计算环境的MapReduce模拟器设计

2015-08-09张国平

信阳师范学院学报(自然科学版) 2015年3期
关键词:作业

张国平,黄 淼,马 丽

(平顶山学院 软件学院,河南 平顶山 467000)

0 引言

MapReduce[1]已成为支持云计算的关键技术之一,流行的MapReduce模型实现包括Mars、Phoenix、Hadoop和Google的实现[2],其中,Hadoop因其开源特性而最受欢迎,然而,Hadoop大量的配置参数给用户带来一些挑战[3].

云计算环境下,通常很难确定出有助于实现良好性能的参数集,即映射器数目、节点数目及其CPU速度、缓冲区大小,建立物理Hadoop环境评估具有上百甚至上千节点的Hadoop应用的扩展性变得非常困难甚至不可能实现[4].而这些挑战使得必须存在一种可以调整Hadoop集群性能的模拟器,现有的MapReduce模拟器往往仅限于简单行为的应用[5].

基于上述分析,本文设计了一种支持云计算的MapReduce模拟器,主要贡献在于模拟Hadoop环境动态行为的高精度,模拟器中可对大量Hadoop参数建模,如节点参数、集群参数、Hadoop系统参数及模拟器参数.

模拟器的精度验证遵循两个步骤:一、针对权威基准研究验证;二、评估它的行为,比较使用两个Hadoop应用的物理Hadoop集群中模拟器的行为.比较结果表明,本文设计的模拟器在模拟Hadoop环境中获得了较高的精度和稳定性.

1 Hadoop参数建模

Hadoop应用的性能受很多参数的影响,本节将描述对这些参数的建模.

1.1 节点参数

处理器:模拟器缺省设计支持每个计算机一个处理器,但是处理器的数目可以改变,一个处理器可以有一个或多个内核,一个处理器内核的处理速度定义为每秒处理的数据单位量,可以从真实实验测试中测量.

硬盘:硬盘实体中,IO操作速度随时变化,引入……

登录APP查看全文

猜你喜欢

作业
作业,我终于打败你了!
让人羡慕嫉妒恨的“作业人”
作业联盟
谁没交作业
修改“作业”
跟一群抄作业的讲垂直进步?
作业
我想要自由
三十六计第七计:无中生有