汪健

摘要：Hadoop2使用YARN平台进行资源管理，支持更多的计算框架和可插拔的资源调度器。现有的资源调度机制中并不支持时间因素，而新的应用方向需要YARN对预分配、实时性、截止期限等与时间密切相关的资源调度提供支持。本文对YARN进行扩展，以支持各种与时间相关的调度策略。

关键词：Hadoop YARN；资源请求与分配；时间因素

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2016）17-0272-03

作为Apache顶级项目之一，Hadoop可以使数据分析工作分布在成千上万台普通计算机组成的集群上同时运行，同时具备良好的扩展性和容错性。随着信息技术越来越广泛的使用，人们需要处理的数据量呈爆发式增长，为充分利用Hadoop集群处理能力，集群中的资源分配是一个关键环节。Hadoop从 2.0版本开始使用YARN通用资源管理平台，从而使得资源管理工作从MapReduce v1计算框架中分离出来，并支持Storm、Spark等其他计算框架在其上运行。

YARN中目前集成了Capacity Scheduler和Fair Scheduler两种资源调度器，支持在多用户、多任务环境下平衡资源分配，达到共享Hadoop集群的目的，并提供了诸如优先级、标签管理等措施来帮助集群资源的管理。然而，YARN中现有的调度几乎没有考虑时间，而在实际的资源调度需求中，时间也是一个重要的因素，特别是在支持资源预留的调度中。文献[1]指出基于资源预留的调度对集群的利用率几乎可达到100%，而Capacity Scheduler不超过80%；文献[2，3]基于Hadoop来实现高实时需求的软件系统；基于截止时间的调度策略[4]和可同时启动多个Container的Gang调度策略[5]也在研究中。因此，需要扩充YARN现有资源请求和调度框架，增加时间因素，各种调度策略从其中获得资源和时间需求并进行资源调度，从而弹性地满足作业对时间上的需求和更充分地利用资源。……