HDAS:异构集群上Hadoop+框架中的动态亲和性调度①
2016-12-06何文婷崔慧敏冯晓兵
何文婷 崔慧敏 冯晓兵
(*中国科学院计算机体系结构国家重点实验室 北京 100190)(**中国科学院计算技术研究所 北京 100190)(***中国科学院大学 北京 100049)
HDAS:异构集群上Hadoop+框架中的动态亲和性调度①
何文婷②******崔慧敏③***冯晓兵***
(*中国科学院计算机体系结构国家重点实验室 北京 100190)(**中国科学院计算技术研究所 北京 100190)(***中国科学院大学 北京 100049)
针对现有异构集群的编程框架着重于异构资源的利用，没有充分考虑共享资源竞争导致作业完成时间延长的情况，基于Hadoop+框架和异构任务模型，提出并实现了异构动态亲和性调度(HDAS)算法，该算法利用Hadoop的心跳机制监测各结点上的资源使用情况和实时负载，对系统中的异构资源用不同的策略计算与任务的亲和性，进行任务分派，使系统的资源利用更充分，从而降低共享资源竞争导致的任务延迟，提高系统的整体吞吐率，且提交到系统中的应用都会在启动后一定时间内被执行。对25种混合负载的试验表明，Hadoop+框架使用HDAS相对于Hadoop的实现可获得平均21.9x的加速比，明显优于基于异构任务模型的调度策略(17.9x)，并使其中21个负载的任务平均延迟不超过6%，在任务对系统资源需求多样性丰富的混合负载上优化效果明显。
MapReduce， 异构， Hadoop+， 亲和性， 调度
0 引 言
为高效处理数据中心中的异构负载，提升性能功耗比，异构加速器正越来越多地被大规模集群所采用。MARS[1]和MapCG[2]利用图形处理单元(GPU)的多线程技术，给每个线程分配一部分
