基于再生码的云存储系统——Ustor
2014-08-07柳青冯丹李白
通信学报 2014年4期
关键词:服务
柳青,冯丹,李白
(华中科技大学 计算机科学与技术学院,湖北 武汉 430074)
1 引言
随着分布式存储系统集群的扩张和云存储的广泛应用,冗余编码逐渐应用于分布式存储系统中保证数据的可靠性,减少了存储容量和存储成本[1]。常用的纠错码有Reed-Solomon码(RS码[2])。(n,k)-RS 码是一种最大距离可分(MDS, maximum distance seperable)码,也就是所有数据存储在n 个节点中,其中,任意k个节点的数据可以恢复出原始数据[3]。(n,k)-RS 保证了最多可失效(n-k)节点而原数据不丢失。而分布式存储系统中,单个节点的失效是常态,多个节点的失效不常见。将RS码应用于分布式存储系统中有几点值得注意:1) RS码修复一个节点的数据所需要的修复带宽远大于该节点数据的数据量,从信息角度来说,传输过量数据用于修复少量数据是一种浪费;2) RS码修复一个存储节点和多个存储节点所需要下载数据量是一样的。从本质上看导致以上2点的原因是:RS码的修复重建了原始数据并重新对丢失的数据进行编码,所以每次修复无论修复数据量的大小,都必须从网络上传输相当于原始数据量大小的数据。云存储系统中存储了海量数据,如何减少因为数据丢失而产生的修复数据量是云存储系统需要面对的关键问题之一。
云存储服务提供了开放的存储接口,用户只需要付费即可使用相应的存储和带宽服务。基于现有的多个商业云存储服务,搭建了统一云存储系统Ustor[4],并采用功能性修复再生码(FRC)保证数据冗余的同时减少修复带宽。……
登录APP查看全文
