面向非易失内存的MPI-IO接口优化
2021-03-22邓镇龙陈志广
大数据 2021年2期
邓镇龙,陈志广
中山大学计算机学院,广东 广州 510006
1 引言
内存和外存的合理使用是大数据环境下计算机系统研究的重要内容。根据存储介质的特性设计计算机的存储架构、软件,可在经济的前提下得到更好的存储性能。长期以来,快速的动态随机存取存储器(dynamic random access memory,DRAM)设备与大容量的外存设备的组合使用使得计算机可以在较低的成本下实现高速的计算以及大容量的数据存储。但是,随着计算机处理器的快速迭代,外存设备的性能成为数据密集型应用的性能瓶颈,访问外存的I/O开销成为计算机应用开销的重要部分。在高性能计算(high performance computing,HPC)系统中,计算节点配备了高性能的处理器,但在访问共享文件系统中的文件时,其I/O性能同样受到底层存储设备的限制。如何减小I/O开销成为HPC系统设计的一个重要课题。
作为并行编程模型,消息传递接口(message passing interface,MPI)协议被广泛应用在HPC系统中,在科学研究与工程仿真中,常使用MPI将模型数据分布到不同的节点上进行计算仿真。MPI的I/O模块使用数据筛选(data sieving)以及聚合I/O(collective I/O)等优化手段[1-2],将进程需要的大量小粒度I/O经过聚合形成少量的大粒度I/O,从而减少文件系统的小粒度随机访问,降低应用的I/O开销。但是,应用分布式地多次访问同一文件时,需要多次向文件系统请求数据,其I/O性能仍然限制了应用的整体性能。如果可以在计算节点中建立并维护文件的缓存,使计算节点可以从缓存中获取数据,则可进一步减小I/O开销。
新型存储介质的出现有助于实现这一设计。……
登录APP查看全文
