单冬红 郭静博 赵伟艇

摘 要： 针对当前云计算技术的广泛使用，提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2（Yarn）框架进行深入研究的基础上，设计一个详细完整的对比实验，针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业，进行细致横向的对比，并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明，公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。

关键词： 云计算； Hadoop； HDFS； 作业调度； 集群

中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2016）06?0025?05

Research on optimization technology of Hadoop cluster job scheduling algorithm

SHAN Donghong， GUO Jingbo， ZHAO Weiting

（School of Software Engineering， Pingdingshan University， Pingdingshan 467002， China）

Abstract： Conception of studying Hadoop cluster job scheduling algorithm is composed in allusion to extensive application of the current cloud computing technology. According to the deep study of Hadoop Map Reduce V2 （Yarn） in the new edition Hadoop， a complete contrast experiment was designed， and the advantages and disadvantages of all kinds of job scheduling algorithms were tested. The comparison was carefully made by applying the different job scheduling algorithms on the same job. The differences and characters in calculation ability， operation time， and resource occupation of all the job scheduling algorithms and calculation frameworks were obtained. The experimental results show that the fair scheduling algorithm and the calculation capacity scheduling algorithm are more flexible and more efficient than the traditional FIFO scheduling algorithm.

Keywords： cloud computing； Hadoop； HDFS； job scheduling； cluster

随着科学技术的快速发展，互联网中所容纳的数据规模正在以一种爆发式的增长速度激增。应用的丰富和数据规模的增长，使得云计算的使用者对于功能的需求已经大大超出了原有的云计算平台所能提供的能力范围[1]。Hadoop作为一个开源的云计算平台的代表，在近些年得到了十分广泛的应用。对Hadoop作业调度算法的研究对研究整个Hadoop平台、提升平台的资源利用率有着至关重要的意义。

近年来，国内外的相关学者对Hadoop中的作业调度以及资源管理等方面技术进行了十分深入的研究。但是由于云计算模式这种特有的商业服务的特点，加之目前仍处于研究的初级阶段，所以对作业调度的研究仍然相对偏少。作业调度的优劣直接影响到云计算平台的性能和资源利用率[2]。……