提高集群并行文件系统空间及利用率
2019-01-13马丽丽
马丽丽

[摘 要] 隨着地震处理“大数据时代”的来临,并行文件系统对于高性能计算集群的重要性日益突出,如何提高这些IT基础设施的利用率,成为IT运维管理人员面临的新挑战。由于存储空间的紧张,影响地震处理任务的进度。通过对磁盘文件系统的深入了解和研究,更改磁盘本地文件系统格式化方式,将原有被占用的存储空间挖掘出来,提升并行文件系统的整体空间利用率。利用shell脚本开发出并行文件系统资源管理模块,动态划分不同应用以及用户使用目录的可用空间,提高整体空间的利用率。并行文件系统还可以实现用户存储空间使用的限额控制,极大地提高了数据存储的安全性。
[关键词] 大数据;ext3;并行文件系统
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2019. 23. 060
[中图分类号] TP311 [文献标识码] A [文章编号] 1673 - 0194(2019)23- 0141- 02
1 问题的提出
随着地震处理“大数据时代”的来临,并行文件系统对于高性能计算集群的重要性日益突出,如何提高这些IT基础设施的利用率,成为IT运维管理人员面临的新挑战。
某油田公司由于存储空间的紧张,影响地震处理任务的进度。除此之外,在实际生产中还发现如下问题:
(1)现今使用的2套并行存储系统,存储服务器的基本单元分别由2 T和3 T磁盘组成,将存储系统磁盘格式化后发现,硬盘的存储挂载空间只有1.8 TB和2.7 TB左右。
(2)并行文件系统对数据实行分散化存储,这样一方面可以让海量的存储刀片同时对文件进行处理,提高数据读写效率,另一方面可以动态划分不同应用以及用户使用目录的可用空间,提高整体空间的利用率,而且并行文件系统还可以实现用户存储空间使用的限额控制,极大地提高了数据存储的安全性。……
