廖彬，张陶，于炯，刘继，尹路通，郭刚



温度感知的MapReduce节能任务调度策略

廖彬1，张陶2，于炯3，刘继1，尹路通3，郭刚3

(1. 新疆财经大学统计与信息学院，新疆乌鲁木齐 830012； 2. 新疆医科大学医学工程技术学院，新疆乌鲁木齐 830011；3. 新疆大学软件学院，新疆乌鲁木齐 830008)

现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等MapReduce任务调度器的主要区别在于队列与作业选择策略的不同，而任务选择策略基本相同，都是将数据的本地性(data-locality)作为选择的主要因素，忽略了对TaskTracker当前温度状态的考虑。实验表明，当TaskTracker处于高温状态时，一方面使CPU利用率变高，导致节点能耗增大，任务处理速度下降，导致任务完成时间增加；另一方面，易发的宕机现象将直接导致任务的失败，推测执行(speculative execution)机制容易使运行时任务被迫中止。继而提出温度感知的节能任务调度策略，将节点CPU温度纳入任务调度的决策信息，以避免少数高温任务执行节点对作业整体进度的影响。实验结果表明，算法能够避免任务分配到高温节点，从而有效地缩短作业完成时间，减小作业执行能耗，提高系统稳定性。

绿色计算；MapReduce；任务调度；温度感知

1 引言

大数据时代，数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题，大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战[1]。据文献[2]统计，2007年全球数据量达到281 EB，而2007年到2011年这5年时间内，全球数据量增长了10倍。数据量的高速增长伴随而来的是存储与处理系统规模不断的扩大，这使运营成本不断的提高，其成本不仅包括硬件、机房、冷却设备等固定成本，还包括IT设备与冷却设备的电能消耗等其他开销。……