APP下载

提高集群并行文件系统空间及利用率

2019-01-13马丽丽

中国管理信息化 2019年23期
关键词:大数据

马丽丽

[摘    要] 隨着地震处理“大数据时代”的来临,并行文件系统对于高性能计算集群的重要性日益突出,如何提高这些IT基础设施的利用率,成为IT运维管理人员面临的新挑战。由于存储空间的紧张,影响地震处理任务的进度。通过对磁盘文件系统的深入了解和研究,更改磁盘本地文件系统格式化方式,将原有被占用的存储空间挖掘出来,提升并行文件系统的整体空间利用率。利用shell脚本开发出并行文件系统资源管理模块,动态划分不同应用以及用户使用目录的可用空间,提高整体空间的利用率。并行文件系统还可以实现用户存储空间使用的限额控制,极大地提高了数据存储的安全性。

[关键词] 大数据;ext3;并行文件系统

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2019. 23. 060

[中图分类号] TP311    [文献标识码]  A      [文章编号]  1673 - 0194(2019)23- 0141- 02

1      问题的提出

随着地震处理“大数据时代”的来临,并行文件系统对于高性能计算集群的重要性日益突出,如何提高这些IT基础设施的利用率,成为IT运维管理人员面临的新挑战。

某油田公司由于存储空间的紧张,影响地震处理任务的进度。除此之外,在实际生产中还发现如下问题:

(1)现今使用的2套并行存储系统,存储服务器的基本单元分别由2 T和3 T磁盘组成,将存储系统磁盘格式化后发现,硬盘的存储挂载空间只有1.8 TB和2.7 TB左右。

(2)并行文件系统对数据实行分散化存储,这样一方面可以让海量的存储刀片同时对文件进行处理,提高数据读写效率,另一方面可以动态划分不同应用以及用户使用目录的可用空间,提高整体空间的利用率,而且并行文件系统还可以实现用户存储空间使用的限额控制,极大地提高了数据存储的安全性。……

登录APP查看全文

猜你喜欢

大数据
基于在线教育的大数据研究
“互联网+”农产品物流业的大数据策略研究
基于大数据的小微电商授信评估研究
大数据时代新闻的新变化探究
浅谈大数据在出版业的应用
“互联网+”对传统图书出版的影响和推动作用
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索