胡亚红，吴寅超，朱正东，李小轩

1.浙江工业大学 计算机学院，杭州310023

2.西安交通大学 计算机学院，西安710049

随着大数据时代的到来，用户产生的数据呈指数级增长。单一节点已经满足不了数据处理的需求，传统的计算模型也无法满足大数据处理的性能和效率要求，故Hadoop[1]、Spark[2]和Storm[3]等分布式框架应运而生。在这些框架中，Apache Spark由于其出色的性能和丰富的应用程序支持而成为通用且最受欢迎的大数据处理平台。与其他的平台相比，Spark 在性能上有着较大的优势，例如Spark的运行速度是MapReduce框架的数十倍[4-5]。

Spark提供了几种部署模式，包括Local、Standalone、Spark on YARN 和Spark on Mesos 等。它的调度策略根据运行层次可以分为application scheduling、job scheduling、stage scheduling 和task scheduling 等[6]。以上的四个调度策略，除了application scheduling 是对用户作业（也称为应用）的调度，其余三个都是系统较为底层的调度。Standalone 模式中，默认的多作业任务调度方式采用FIFO 或FAIR 两种策略，资源调度算法则有SpreadOut和非SpreadOut[7]。这两种资源调度算法采用了非常简单的逻辑，即通过对比作业的资源需求以及节点的可用资源来进行调度。

由于分布式系统的复杂性，Spark 在实际运行环境中不能充分利用集群中计算机的全部性能，因此优化Spark 系统的执行效率非常重要，其中对于资源调度机制的研究已成为当前的研究重点。分布式框架的调度算法主要分为基于用户作业级别的调度和基于任务级别的调度。现在已有许多基于Hadoop 的相关研究工作，这些为进行Spark调度优化提供了良好的基础。

徐佳俊等认为随着硬件的更迭和高性能硬件的引用，集群的异构化现象日趋显著[8]。……