柯尊旺 于炯 廖彬

摘要：云计算集群环境下多资源分配的公平性是考量资源调度子系统最重要的指标之一，DRF作为通用的多资源公平分配算法，在异构异质的集群环境下可能有失公平性。在研究Mesos框架中DRF多资源公平分配算法的基础上，设计并实现了增加机器性能评估影响因子的meDRF分配算法。将计算节点的机器性能得分，作为DRF主导份额计算的因子，使得计算任务有均等的机会获得优质计算资源和劣质计算资源。通过选取Kmeans、Bayes及PageRank 等多种作业进行实验，实验结果表明：meDRF较DRF分配算法更能体现多资源分配的公平性，且资源分配具有更好的稳定性，能有效提高系统资源的利用率。

关键词：资源分配；DRF分配算法；公平性；Mesos

中图分类号：TP311 文献标志码：A

Abstract：The fairness of multiresource allocation is one of the most important indicators in the resource scheduling subsystem， Dominant Resource Fairness （DRF）， as a general resource allocation algorithm for multiresources scenarios， it may be unfair in heterogeneous cluster environment. On the basis of the research on the DRF multiresource fair allocation algorithm under Mesos framework environment， meDRF allocation algorithm was designed and implemented to evaluate the influence factors of the performance of the server. The machine performance scores of computing nodes， as the dominant factor of DRF share calculation， made computing tasks have equal chance to obtain high quality computing resources and poor computing resources. Experiments were conducted by using Kmeans， Bayes and PageRank jobs under Hadoop. The experimental results show that， compared with DRF allocation algorithm， the meDRF algorithm can reflect more fairness of the allocation of resources， and the allocation of resources has better stability， which effectively improves the utilization of system resources.

Key words：resource allocation； Dominant Resource Fairness （DRF） allocation algorithm； fairness； Mesos

0 引言

随着云计算、大数据等新技术及应用的高速发展以及智能终端爆炸式增长，以Hadoop[1]、Spark[2]、Cloudra及Strom等为代表的大数据计算框架得到了快速发展。但是，传统数据中心的资源管理模式无法有效应对种类繁多的上层计算框架的个性化资源管理需求。在这样的背景下，作为下一代数据中心的创新者，软件定义数据中心（Software Defined Data Center，SDDC）[3]将服务器进行虚拟化、软件化数据中心的一切物理资源，并适应上层应用程序不断变化的资源需求，动态地进行资源分配。SDDC通过整合多种计算资源实现资源的统一管理和调度，在计算资源有限的情况下，为确保各计算任务节点的利益最大化，资源调度子系统应该提供一种公平的资源分配策略，使得各计算任务节点具有均等的机会获得计算资源来完成任务。……