张明 杨效 邹丽 唐艳娟 张燕

(甘肃省气象信息与技术装备保障中心,兰州 730020)

引言

气象业务需要处理大量的数据，对计算机的计算能力等方面有着较高要求[1]。西北区域气象中心高性能计算集群中计算节点CPU总核数832个，峰值处理能力为25 TFlops，存储空间72 TB。为了实现作业提交、调度和资源管理，西北区域气象中心高性能计算集群使用作业调度软件LoadLeveler来管理集群作业。LoadLeveler可以根据业务模式优先级、资源需求和资源的可用性对作业进行调度，并处理作业相关的管理、执行和记账，它为集群资源的最优化利用提供了动态调度和工作负载均衡的功能[2]。陈晓霞等指出LoadLeveler允许系统管理员对批处理环境进行完全控制并与操作系统紧密耦合集成以实现资源管理、抢占式调度、和记账等功能[3]。马骁等提出提高整个系统的资源利用率是高性能计算集群管理的核心，通过合理的使用调度算法协调各节点间的资源分配，提高系统的使用率和吞吐率[4]。

系统运行至今，较未采用调度软件LoadLeveler来管理集群作业前的月平均作业数、CPU利用率等指标有了大幅提升：月平均作业数2万余个，系统月 CPU 平均利用率达到40%左右，业务模式运行正点率满足国家局考核要求。随着模式预报精度的提高，模式规模也越来越大，所需资源迅速增加，如何利用LoadLeveler加强气象部门高性能计算资源管理，充分发挥气象部门高性能计算集群资源效益成为系统管理员要解决的重要问题。

1 技术思路

LoadLeveler集群由配置文件来定义，采用关键字格式。……