基于工作流的气象超算作业调度应用研究
2022-09-16赵春燕肖华东
赵春燕,孙 婧,肖华东,周 斌,王 彬
(1.国家气象信息中心,北京 100081;2.中国气象局地球系统数值预报中心,北京 100081)
0 引 言
数值天气预报是气象核心业务,当前,中国气象局建立了从全球到对流尺度[1]短时到中期、确定性到集合[2]的GRAPES[3](Global/Regional Assimilation PrEdiction System)国家级数值天气预报业务[4]体系,基于中国气象局“派-曙光”超算系统[5-6]业务运行和研究开发。“派-曙光”于2018年试运行,峰值计算能力为8 189.5 TFLOPS,承担了中国气象局多项数值天气预报业务和科研。数值天气预报系统的运行流程包括数据预处理、资料同化、模式预报、后处理、产品制作、产品分发和归档等多个复杂有依赖的环节,涉及基于超算环境[7]大量科学计算和复杂的流程控制,为了保障数值预报系统的正常高效运行,需要建设高效、稳定的工作流和监控。
科学工作流[8](Scientific Workflow,SWF)将复杂的流程按照逻辑关系与依赖关系进行抽象描述并在约束条件下实现自动化的按序执行,已经成为复杂科学计算流程管理的必要手段。科学工作流管理系统(SWFMS)为科学工作流提供了工作流定义、过程协调、作业调度与执行、资源跟踪和容错功能。在各领域科研发展需求的推动下,国内外发展了多种适用于本领域的工作流管理系统[8-9],探索了基于超算的融合应用[10-13],并延伸到云服务平台[14-15]。
气象领域也对工作流的研究应用进行了探索和发展[16-17],目前广泛采用的有两种工作流引擎,欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts,ECMWF)的开源软件ecFlow[18],以及新西兰NIWA(National Institute of Water and Atmospheric Research)和英国气象局开发的开源软件Cylc[19]。二者采用不同的技术路线,ecFlow为C/S架构,主要基于图形界面和命令行使用,在作业定义方面和脚本语言进行了很好地兼容,与模式传统的运行方式更容易耦合实现工作流的开发。……
