APP下载

面向Lustre集群存储的应用日志分析及系统自动优化框架*

2022-04-21曾令仿唐士程杨力平曾文君

计算机工程与科学 2022年4期
关键词:优化资源分析

程 稳,李 焱,曾令仿,王 芳,唐士程,杨力平,冯 丹,曾文君

(1.华中科技大学武汉光电国家研究中心,信息存储系统教育部重点实验室暨数据存储系统与技术教育部工程研究中心,湖北 武汉 430074;2.深圳国家基因库,广东 深圳 518120;3.之江实验室,浙江 杭州 311121)

1 引言

大规模集群存储系统中,运行着大量应用任务,各个应用都有其自身的特性,如人工智能、空间/高能物理、基因工程和光子科学等应用都具有不同的I/O模式,它们的负载表现多样化,应用的数据采集、建模、训练、分析和输出等阶段也有其不同的I/O特征和需求,如果所有应用均等对待、不加区分地写入集群存储系统会引发各种问题[1],如资源竞争、性能下降和服务器宕机等。集群存储系统的用户、维护人员、上层应用开发人员和多层存储系统开发人员等需要了解当前应用程序需求与特性[2],获取优化建议,找出并消除效率低下的根源,自上而下优化集群存储系统,为将来系统软硬件设计或购买提供参考[3]。

应用的多样性和快速迭代更新,使得人们对当前系统中应用负载情况不甚明朗,不同系统环境中得出的观察/结论有可能不同。比如,我们在实际应用生产环境中采集了5个Lustre集群存储连续326天的应用日志信息,通过分析发现,运行在实际Lustre集群存储中的应用都是读多写少型,读写I/O在应用运行期间一直同时存在,一天内I/O读写量几乎维持在一个比较稳定的水准。我们的上述发现与文献[3-5]的部分研究结论有所区别,但从宏观角度看来,我们的发现在一定程度上进一步完善了对应用负载访问特征的探究。……

登录APP查看全文

猜你喜欢

优化资源分析
超限高层建筑结构设计与优化思考
基础教育资源展示
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
隐蔽失效适航要求符合性验证分析
资源回收
电力系统不平衡分析
资源再生 欢迎订阅
电力系统及其自动化发展趋势分析