集群资源管理及回填技术
2018-06-13林起勋钱德沛栾钟治
数据与计算发展前沿 2018年4期
林起勋,钱德沛,栾钟治
北京航空航天大学,北京 100191
1 概述
随着计算机科学技术的不断进步与发展、数据规模的不断增大,无论是科学计算还是工业应用都对计算资源的需求量都在不断增加,同时对系统吞吐也提出了更高的要求。通常,拥有更多计算资源可以更高效、更准确地解决问题。而随着集群规模的不断增大和工作负载复杂性的不断增加,合理的资源分配和高效的作业调度算法对于提高系统整体资源利用率、作业吞吐量、程序性能等起着至关重要的作用。因此,资源调度系统如何更好地管理集群资源、将资源与用户作业进行高效匹配,以系统提高资源利用率和作业吞吐量等问题一直是集群研究的热闹话题。
集群 (Cluster)[1]是通过网络互相连接的多个独立的计算机的集合。按照核心技术的不同,可以将集群分高可用集群和高性能集群两大类。高可用集群主要是对系统出现某些故障时如何继续对外提供服务,保证服务不间断、保证数据的安全和完整性方面有着较高的要求。高性能集群的目的是提供与节点数成正比的负载能力,并且节点可根据使用情况随意增加或删除,主要用于只有超级计算机才能完成的计算任务。但高性能集群一般也具有一定高可用性的特点[2]。本文讨论的是集群的资源管理与调度、资源利用率、作业吞吐等方面问题,因此研究的重点是高性能集群。
集群一般包括资源组织模型、调度策略、任务组织模型三个要素。……
登录APP查看全文
