面向强一致性的分布式对象存储的I/O并行性优化①
2020-03-31宋永浩郑晓辉唐宏伟赵晓芳
高技术通讯 2020年2期
史 骁 宋永浩 郑晓辉 唐宏伟 于 雷 赵晓芳
(*中国科学院计算技术研究所 北京 100190) (**中国科学院大学 北京 100049)
0 引 言
分布式对象存储是云计算存储的主要形式之一,其可有效满足数据中心存储服务的高扩展性需求[1-4],常用于存储大规模的非结构化数据,包括文本、图片、视频、训练集、机器学习模型等。为充分发挥存储系统性能、提高存储系统利用率,良好的系统I/O并行性是一个基本条件[5]。
系统设计人员常常通过降低系统的数据一致性级别来提高系统的I/O并行性,但弱一致性级别及相关I/O并行优化技术无法满足具有强一致性需求的应用。最终一致性是分布式对象存储中常采用的一种弱一致性模型[4],其特点是:对象读(GET)请求可以在任意可用的副本节点执行。但是,当应用的I/O模式具备流水线特征时,最终一致性模型所引发的数据不一致会影响应用计算的准确性及存储系统利用率[1]。针对弱一致性模型,现有工作提出了一系列借助负载均衡优化I/O并行性的方法[5-10]。例如,C3[5]提出根据存储节点主动反馈的I/O请求队列长度,在存储客户端建立存储节点的实时负载模型以供调度参考,从而实现负载均衡。其他针对一致性的研究多集中在探讨如何协调复杂应用的一致性需求及存储系统所提供的一致性服务能力[11,12],或如何高效、实时地对服务中出现的数据不一致性进行检测[13]。这些研究工作通常以较弱的一致性模型为基础,这使得其难以移植到强一致性的场景中。……
登录APP查看全文
