李 硕，梁 毅

北京工业大学 信息学部，北京100124

Spark分布式内存计算系统已被广泛应用于大数据处理的众多场景中[1-2]。批处理应用是Spark系统支撑的一类主要应用，其特点是基于有向无环图（Directed Acyclic Graph，DAG）计算模型对静态数据集进行并行处理。批处理应用执行时间预测是保证批处理应用达到软实时需求、指导Spark系统资源分配、应用均衡决策以及保障批处理应用服务质量的基础。然而，如何精确预测Spark批处理应用执行时间仍然是一个开放的技术挑战。

近年来，针对大数据系统的批处理应用执行时间预测研究工作可分为两类，一是基于源代码分析的执行时间预测，二是选取相关因素构建执行时间预测模型。在基于源代码分析预测的工作中，PACE系统及Pablo系统通过分析源码中包含的每一类操作的执行复杂度和执行次数来预测应用的执行时间[3-4]。然而，这类方法属于基于源代码的白盒分析，不能适用于无法获取源代码的第三方批处理应用。在选取相关因素构建执行时间预测模型的相关工作中，文献[5]选取输入数据规模作为相关因素，针对Hadoop批处理应用，采用KNN方法构建批处理应用执行时间预测模型。文献[6-7]在上述基础上又增加了资源分配规模作为相关因素来构建预测模型，针对Hadoop批处理应用，文献[6]中应用首先通过资源监控模块对应用的计算及网络资源进行监控，获取到计算和网络资源后，利用SVM模型对应用的执行时间进行评估；文献[7]针对Hadoop批处理应用，利用LR模型来预测应用的执行时间，从而为任务调度奠定基础。……