APP下载

基于CUDA的RS纠删码性能优化

2016-03-25戴世航李小勇

微型电脑应用 2016年1期

戴世航,李小勇



基于CUDA的RS纠删码性能优化

戴世航,李小勇

摘 要:目前分布式存储系统中保证数据可用性的常用方法有多副本技术和纠删码技术。与多副本技术相比,纠删码技术有更高的存储空间利用率,但附加的编码流程不可避免地带来了较高的时间延迟,影响了系统的实时性,限制了纠删码的应用。为了提高纠删码的编码效率,对开源代码库Jerasure提供的RS纠删码进行优化,利用CUDA对其进行加速。实验结果显示,相对于原始算法,该方法将编码速度提高了约20倍,为纠删码技术应用于实时系统提供了可能。

关键词:RS纠删码;CUDA;GPU加速

0 引言

如今,人类社会已经进入了大数据时代。随着各种新兴媒体、数据仓库、社交网络的飞速发展,预计2020年数据总量将达到35万ZB。为存储数量如此巨大的数据,各种分布式存储系统应用而生。

分布式存储系统往往建立在大量廉价机器上,系统中节点故障不可避免,如何才能在这样的环境下保证存储数据的高可用性得到了广泛的研究。实践中最常用的方法是多副本技术,通过将文件以多个副本的形式存入存储系统中以实现冗余容错,只要其中一个副本没有损坏,用户就可以正常访问到文件。但多副本技术存储冗余度高这一缺点也随着数据规模增大而日益突出,而纠删码技术在这一方面则具有明显优势。不过由于纠删码的运算开销较大,实时性差,因此可应用的场景受到限制。

本文针对纠删码技术的……

登录APP查看全文