苏涛涛，郑 禄

(1. 中南民族大学计算机科学学院，湖北 武汉 430074; 2. 中南民族大学实验教学与实验室管理中心，湖北 武汉 430074)

一种基于动态slot分配的公平调度算法

苏涛涛1，郑 禄2

(1. 中南民族大学计算机科学学院，湖北 武汉 430074; 2. 中南民族大学实验教学与实验室管理中心，湖北 武汉 430074)

Hadoop框架中基于缺额的公平调度算法以统一的固定配置设置定时计算和更新作业信息，在一定程度上影响了其作业调度的公平性，同时也不能满足作业的资源需求。针对基于缺额的公平调度算法配置方式的不足,提出一种基于公平性的动态slot分配算法，通过实时计算更新缺额进行slot分配以确保真正的公平性。

公平调度；缺额；公平性；slot分配

0 引言

作业调度算法是Hadoop集群中的核心算法，作业调度算法的改进可以大大提高整个集群中资源的利用率[1]。Hadoop自带的有几个简单的作业调度算法。同时，为了满足各种不同类型或不同目的的复杂作业的调度，Hadoop基为一个开源框架的设计思想以插件式的形式集成了新的作业调度算法[2-3]。公平调度算法是一种赋予作业资源的方法，其目的是让所有的作业随着时间的推移，都能平均的获取等同的集群中的共享资源[4]。但基于缺额的公平调度算法中以统一的配置方式设置定时计算和更新时间，并不能保证缺额的实时性，进而会影响到资源分配时的公平性。针对该算法配置方式的不足,提出一种基于动态slot分配的公平调度算法，通过实时计算更新缺额进行slot分配以确保真正的公平性。……