APP下载

面向高能物理分级存储的文件访问热度预测

2021-02-05程振京程耀东胡庆宝李海波

计算机工程 2021年2期
关键词:模型

程振京,汪 璐,程耀东,3,陈 刚,胡庆宝,李海波

(1.中国科学院高能物理研究所,北京 100049;2.中国科学院大学,北京 100049;3.中国科学院高能物理研究所天府宇宙线研究中心,成都 610041)

0 概述

随着高海拔宇宙线观测实验LHAASO[1]建成运行,数据累积规模不断扩大,对数据存储的性能和效率提出了更高的要求。LHAASO实验使用统一命名空间的分级存储系统来存储物理数据,使用的介质包括固态硬盘、机械硬盘和磁带等。Lustre[2]和EOS[3]两个主要的存储管理系统均提供分级存储功能,目前一般采用的是基于系统管理员个人经验的启发式算法,如LRU等本质上是以单一的文件访问特征(迁入上级存储时间、访问频率等)设一个阈值。因为这些算法需要在操作系统内核中运行,必须牺牲一些预测精度来提升执行效率,所以存在经验偏差,缺少负载通用性和自适应性。为提升存储系统的资源利用率,按访问热度不同将高能物理数据存储于不同性能、不同容量的存储设备上,根据数据热度改变迁移至合适的存储层级。因此,数据未来的访问热度预测对于设计高效的数据迁移机制十分重要。

高能物理计算主要包括原始实验数据的蒙特卡洛模拟、数据重建以及物理分析等过程,每种计算类型各有其特点,每个用户/应用的计算模式也有可能存在巨大差异。通常情况下在一个较短的连续时间段内,物理学家通常只会专注于分析整体重建数据的一小部分,其他绝大部分重建数据不会被访问。……

登录APP查看全文

猜你喜欢

模型
一半模型
一种去中心化的域名服务本地化模型
适用于BDS-3 PPP的随机模型
函数模型及应用
p150Glued在帕金森病模型中的表达及分布
函数模型及应用
重尾非线性自回归模型自加权M-估计的渐近分布
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
一个相似模型的应用