李媛祯,杨　群,赖尚琦,李博涵

(1.南京航空航天大学计算机科学与技术学院,江苏南京 210016;2.香港大学计算机科学与技术系,香港)



一种Hadoop Yarn的资源调度方法研究

李媛祯1,杨群1,赖尚琦2,李博涵1

(1.南京航空航天大学计算机科学与技术学院,江苏南京 210016;2.香港大学计算机科学与技术系,香港)

针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%.

资源调度;蚁群算法;粒子群算法;Hadoop Yarn

1　引言

自2006年Yahoo发布Hadoop平台以来,越来越多的应用程序采用Hadoop作为处理平台.要发挥Hadoop的作用,合理进行资源分配和调度是关键问题之一[1,2].在最新Hadoop Yarn中,为解决主节点故障、资源分配不合理等问题,采用资源调度器取代原有的任务调度器,Hadoop Yarn调度器以层级队列方式组织资源,并让这些队列共享所有节点上的资源.当节点上存在空闲资源时,节点NM向调度器发送空闲资源通知.调度器实际是一个事件处理器,处理来自其他组件的事件,从而统一管理和调度集群资源,其中,提供了三个内置调度算法,实现了三种资源调度器,即FIFO,Capacity和Fair调……