基于Ceph的分布式异构存储系统数据处理优化研究
2021-03-08陈晓丹庞双龙曾德生邵翠
电子技术与软件工程 2021年23期
关键词:系统
陈晓丹 庞双龙 曾德生 邵翠
(广东创新科技职业学院 广东省东莞市 523960)
近年来,互联网行业逐渐产生了大量的数据,人们对于计算性能与存储性能要求不断提高。各界学者面临着如何设计低成本的存储系统应对数据爆炸问题。传统的集中系统属于常用的储存数据的方法,只是单纯的将计算与存储集中在一起,受到CPU与存储介质发展速度的限制,并不能满足数据增长的速度,为此需要分散多台主机,进而实现分布式计算与存储。但随着科学技术的不断进步,Ceph分布式对象储存系统得到了广泛应用。数据大规模增长会导致生产环境中多个集群有先后顺序或功能的需求,会造成存储异构情况。异构环境下,数据放置问题成为了当前的研究热点,数据放置策略的不同,可积极影响系统性能与集群的负载平衡。
Ceph作为分布式对象存储的代表,拥有很多对象存储的有点优点,如扩展性,小文件存储,容易维护等,Ceph利用硬件水平扩展,应用分层组织方法,支持大规模数据存储。以往的大部分文件分布式文件系统存储时,应用分片方式对文件进行处理,而在实际存储的时候则需优先处理文件分片,一般借助128M、256M切分。但在对小文件进行处理的时候很容易出现空间浪费的情况,而对象存储则可对小文件存储的问题予以有效处理。而且Ceph无需对多余数据层次结构进行维护,仅将重点放在数据本身即可。目前,有关Ceph的研究成果较多,国外有学者对不同大小的文件使用不同的模型进行优化,也有学者对数据进行迁移,实现可编程数据存储系统,让用户按照自己的需求实现负载均衡。……
登录APP查看全文
