GVDS:面向广域高性能计算环境的虚拟数据空间
2021-03-22肖利民宋尧秦广军周汉杰王超波韦冰魏巍霍志胜
大数据 2021年2期
关键词:用户
肖利民,宋尧,秦广军,周汉杰,王超波,韦冰,魏巍,霍志胜
1. 北京航空航天大学计算机学院,北京 100191;2. 软件开发环境国家重点实验室,北京 100191;3. 北京联合大学智慧城市学院,北京 100101;4. 西安理工大学计算机科学与工程学院,陕西 西安 710048
1 引言
国家高性能计算环境拥有大量的计算与存储资源。根据中国国家网格(CNGrid)发布的《国家高性能计算环境发展报告(2002—2017年)》,截至2017年年底,我国国家网格节点单位达到19家,聚合计算资源超过200 PFlops,总存储资源超过178 PB。然而这些节点地理位置分散,如何发挥资源聚合效应并统筹使用这些广域资源一直是国家高性能计算环境发展面临的一个挑战性问题。网格技术[1]常被用于解决此类广域资源聚合问题。网格技术能够将网络上松散的计算与存储资源聚合起来,隐藏资源的异构性,并最终向用户呈现一个虚拟的超级计算机。当前CNGrid[2-3]中的计算资源已可做到全局调度使用,然而存储资源仍处于广域分散且隔离自治的状态,未能实现统一管理和共享访问。当研究人员需要跨机构协同工作以及分享大规模的数据文件时,通常需要通过网格的数据传输工具将与计算任务相关的输入文件传输到计算中心内部的存储集群中。在计算任务执行完成后,超算用户需要显式指定计算任务的输出文件来完成计算结果的回传。因此,现存的基础设施依然无法提供简单有效的数据访问与共享模式。
科学计算应用通常需要依赖外部数据文件,而其输入数据时常来源于多个超级计算中心(以下简称为超算中心)。……
登录APP查看全文
