基于大数据分析的负载平衡数据分级存储方法
2021-12-28黄永生
河北北方学院学报(自然科学版) 2021年11期
关键词:方法
黄 永 生
(合肥职业技术学院 现代教育技术中心,安徽 巢湖 238000)
0 引 言
随着互联网技术和计算机技术的发展,各种应用业务不断产生新的数据信息,造成数据信息量呈现几何式增长。这些数据信息是企业各种业务运行的基础,对于企业发展至关重要,因此企业每年都会投入大量的资金对数据信息进行存储和管理[1]。然而,数据的增长是无限的,单靠企业的本地存储远远无法满足需要,造成企业的数据信息存储压力增大,且随着时间推移,应用业务产生新的数据信息经常出现不可储存或者已经存储的数据不可访问的问题。在此背景下,分布式存储方式出现,即将数据存储到由许多独立、廉价的机器组成的存储介质当中,如磁盘、磁带、光盘、固态盘等[2]。然而,分布式存储存在一个大的问题,即数据信息不能均衡地存储在设备上,造成了局部或部分存储设备存储量过大,而有的存储设备存储量过小,导致存储设备空间利用率较低,增加了数据存储成本、降低了数据存储效率。
面对上述问题,很多专家和学者都进行了研究和分析[3-5]。如,余芸等人提出基于一致性Hash的电力企业MDS集群高质量元数据管理模型[4],通过一致性Hash算法设计元数据框架,构建一致性Hash集群数据管理模型,备份结点策略保留MDS失效数据信息,利用数据延迟处理方式促使集群变化数据迁移量减少,能够有效实现数据进行分布均匀;龙赛琴等人提出一种基于CloudSim的分级云存储仿真模型[5],通过云存储集群进行数据存储分级设计,利用数据I/O业务处理方法进行稠密数据特征优化,选择适合的行存储或列存储格式;……
登录APP查看全文