黄建忠　曹　强　黄思倜　谢长生

(武汉光电国家实验室(华中科技大学)　武汉　430074)



面向纠删码存储集群的节点并发重构

黄建忠曹强黄思倜谢长生

(武汉光电国家实验室(华中科技大学)武汉430074)

(hjzh@hust.edu.cn)

纠删码存储集群的一个关键设计目标是降低重构IO所引起的网络流量，因为降低网络流量有助于缩短重构时间，进而提高可靠性. 针对2个或多个失效节点并发重构这一研究话题，提出一种交叉式重构方案(interleaved reconstruction scheme, IRS).所有替换节点能协同、并行地重构所有失效分块.通过对现有集中式重构方案(centralized reconstruction scheme, CRec)和分散式重构方案(decentralized reconstruction scheme, DRec)的IO流进行分析，分析发现CRec中存储管理器和DRec中替换节点是重构性能的瓶颈. 针对此，IRS从2个方面进行改进：1)替换节点充当重构节点进行并行式重构，消除CRec中管理器这一重构瓶颈；2)利用纠删码的编码结构特性，所有替换节点协同地重构所有失效分块，确保重构时只传输一次所需存活分块.在Reed-Solomon码存储集群上实现了上述3个重构方案，并用真实IO trace进行对比测试. 实验结果表明：当纠删码存储集群的编码参数为k=9和r=3时，IRS方案的双节点重构性能是其他2种重构方案的1.63倍；而3节点重构性能是其他2种重构方案的2.14倍.

纠删编码；集群存储；存储可靠性；节点重构；交叉式重构

分布式存储具有很高的性价比和扩展性，已成为大规模数据中心的主流存储结构.然而，分布式存储系统包含大量存储节点，节点失效是经常性事件.为了避免数据丢失，通常采用副本进行容错.对于……