APP下载

广域虚拟数据空间中边缘缓存系统的研究与实现

2021-09-22霍建同肖利民霍志胜徐耀文

大数据 2021年5期
关键词:服务系统

霍建同,肖利民,霍志胜,徐耀文

1. 软件开发环境国家重点实验室,北京 100191;2. 北京航空航天大学计算机学院,北京 100191

1 引言

当前中国国家高性能计算环境中总计算能力突破200 PFlops,总存储容量超过160 PB,拥有2个南北主节点、6个国家级节点、11个普通节点。但各个节点广域分散,计算与存储资源难以统筹使用。当前计算资源已经基本做到全局调度,但存储资源仍处于广域分散、隔离自治的状态,未能实现统一管理和共享访问。随着计算规模和数据量的快速增长,为了满足大型高性能计算应用跨域统一访问、广域数据共享、存储与计算协同的需求,基于国家重点研发计划“高性能计算虚拟数据空间”项目,笔者设计并实现了广域虚拟数据空间系统(global virtual data system,GVDS)[1],并在5个国家超级计算(以下简称超算)中心进行了部署和验证,图1为GVDS的部署情况。

图1 GVDS的部署情况

如图1所示,虚拟数据空间客户端位于网络边缘,可称其为边缘客户端。边缘客户端一般部署于PC上,是用户访问广域虚拟数据空间系统的入口;伴随着网络技术的发展,其还可部署在边缘侧的计算节点、数据采集节点和移动设备上。用户可通过客户端直接访问广域虚拟数据空间系统,进行跨超算中心的数据管理、共享和访问。然而,同一研究机构内的用户在一段时间内对相关的数据进行共享和访问时,广域网环境中会多次传输冗余数据,当数据量较大且访问量过多时,会造成网络带宽资源的浪费。另外,随着万物互联时代[2]的到来,边缘计算[3]迅速发展,其将计算作业驻留在靠近数据源、靠近用户的计算设备上运行,可减少数据传输量,从而缩短数据传输时延,最终提高云计算中心的可用性和处理作业的能力。……

登录APP查看全文

猜你喜欢

服务系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
服务在身边 健康每一天
服务在身边 健康每一天
半沸制皂系统(下)
服务在身边 健康每一天
服务在身边 健康每一天
服务在身边 健康每一天