楼 涛，杜文才，2，钟杰卓

( 1.海南大学 信息科学技术学院，海南 海口 570228 ; 2.澳门城市大学，澳门)

基于混合蚁群遗传算法的Hadoop集群作业调度

楼 涛1，杜文才1，2，钟杰卓1

( 1.海南大学 信息科学技术学院，海南 海口 570228 ; 2.澳门城市大学，澳门)

提出了一种基于蚁群与遗传算法融合的自适应作业调度机制，将遗传算法全局收敛、快速搜索的优点与蚁群算法正反馈、高求精率的优势相结合，以变异策略来加快局部寻优，提高收敛速度.实验结果表明本文算法可快速找到最适合当前作业的节点，有效提高Hadoop集群作业调度的效率.

蚁群算法; 遗传算法; Hadoop集群

Hadoop作为海量数据分布式处理的软件框架，整合了包括数据库、云计算管理和数据仓储等一系列平台，可靠、高效、可伸缩等特点使其成为工业界和学术界进行云计算应用和研究的标准平台，被广泛应用于FaceBook，Twitter，Yahoo! 等公司.通常情况下，Hadoop集群包括数以千计的服务器和数以万计的CPU，在如此庞大的集群中运行着大量不同类型的作业，作业之间可能还存在依赖关系，作业调度机制直接关系到Hadoop平台的整体性能和系统资源的利用情况.笔者通过研究关于Hadoop作业调度算法，提出了一种在遗传蚁群混合算法基础上的作业调度机制，从而解决现有算法的不足.

1 Hadoop平台的作业调度

Hadoop分布式系统基础架构由2个核心部分组成：分布式文件系统HDFS和分布式计算引擎MapReduce.其中，HDFS有着高容错性的特点，可部署在低廉的硬件上，提供高吞吐量访问应用程序的数据，HDFS是一个主从结构的体系，由NameNode节点和DataNode节点组成；……