APP下载

基于用户行为的超级计算机作业失败预测方法*

2022-10-28唐阳坤杨文祥张晓蓉王耀彬

计算机工程与科学 2022年10期
关键词:特征作业用户

唐阳坤,鲜 港,杨文祥,喻 杰,张晓蓉,王耀彬

(1.西南科技大学计算机科学与技术学院,四川 绵阳 621010;2.中国空气动力研究与发展中心计算空气动力研究所,四川 绵阳 621050;3.国防科技大学计算机学院,湖南 长沙 410073)

1 引言

随着数据科学的发展与进步,科学研究和工程项目越来越依赖超级计算机。同时,随着高性能计算性能从P级向E级发展,计算结点不断增加,多核执行应用程序的并行规模不断扩大,作业发生故障和错误的可能性也随着软件和硬件上复杂性的增加而增加[1],作业失败事件会影响高性能计算系统的执行效率。

每天都会有大量的作业提交到超级计算机,然而,其中有相当一部分作业不能够正常完成。最近的一些研究分析了Google公司的集群作业负载日志,其中大约有40%的作业不能够正常完成[2,3]。这些作业还占据了大部分集群工作时间(失败或者被杀死)[4-7]。此外,本文分析了一台用于科研的超级计算机的作业日志,在调研的正常终止(完成与失败)的作业中,大约有31%的失败作业。这些不能正常完成的作业会导致系统的计算资源不能够有效利用,同时也会延长正在排队的作业等待时间。如果提前预测出失败作业,并采取一定的应对措施,能够提高系统资源利用率,同时对提升系统的执行效率也至关重要。

机器学习是目前广泛用于预测研究的技术,寻找有利于预测目标和有价值的特征对提升预测效果至关重要。超级计算机的作业调度系统记录了每一个运行作业的历史日志信息。……

登录APP查看全文

猜你喜欢

特征作业用户
如何表达“特征”
不忠诚的四个特征
关注用户
作业
关注用户
关注用户
如何获取一亿海外用户
线性代数的应用特征
我想要自由
三十六计第七计:无中生有