APP下载

MadFS:高性能超算缓存文件系统

2021-03-27陈康,武永卫,郑纬民

大数据 2021年3期

对于存储系统来说,信息资源的爆炸性增长在I/O支持应用的性能以及数据可用性等方面提出了越来越高的要求。可以预见,人工智能、大数据和图计算等新型计算模式对存储系统的I/O性能更是提出了极致要求。从技术发展趋势上来看,新型的网络传输硬件及使用模式、新型存储硬件都提供了极高的访问带宽和极低的访问时延,这一发展趋势导致现有的存储软件成为性能瓶颈。特别是在提供低时延访问上,存储软件的结构需要进行革新。

传统的分布式文件系统结构按照扩展的方式来看,主要有两个发展思路。一个是先对磁盘进行扩展,之后在扩展的磁盘基础上建立文件系统,提供服务。这个方面的典型是Petal磁盘扩展服务以及Frangipani文件系统。在高性能文件系统中,这个方面的典型是IBM公司的通用并行文件系统(general parallel file system,GPFS)。另外一个发展思路是直接对文件系统进行扩展,由一个或者少数几个节点来保存元数据,记录文件数据的分布情况,其他的节点用来保存数据。这方面的典型是Google文件系统(Google file system)以及衍生的Hadoop分布式文件系统(Hadoop distributed file system,HDFS)。在高性能文件系统中,采用该思路的是大部分高性能计算机标配的Lustre文件系统。传统的高性能文件系统在构造时大部分将磁盘作为数据的存储介质。但是,现有的文件系统不能满足新一代的人工智能、大数据、机器学习等的应用,对于新的存储体系结构、新的网络体系结构带来的高带宽、低时延的性能优势也缺乏考虑。……

登录APP查看全文