一种用于重复数据删除的非对称最大值分块算法研究
2017-12-01郭玉剑曾志浩
网络安全与数据管理 2017年22期
郭玉剑,曾志浩
(湖南工业大学 计算机学院,湖南 株洲 412000)
一种用于重复数据删除的非对称最大值分块算法研究
郭玉剑,曾志浩
(湖南工业大学 计算机学院,湖南 株洲412000)
分块是一种将文件划分成更小文件的过程,该方法被广泛应用在重复数据删除系统中。针对传统的基于内容分块(CDC)中面临的高额计算开销问题,提出了一种称为非对称最大值的分块算法(CAAM)。采用字节值代替哈希值来声明切点,利用固定大小窗口和可变大小窗口来查找作为切点的最大值,并且允许在保留内容定义分块(CDC)属性的同时进行较少的计算开销。最后将CAAM与现有的基于散列和无哈希的分块算法进行了比较,实验结果表明,CAAM算法比其他算法具有更低的计算开销和更高的分块吞吐量。
重复数据删除;非对称窗口;内容定义分块;无哈希分块;切点
0 引言
根据国际数据公司(IDC)的调查研究,2013年全球数字信息产生量约为4.4 ZB,到2020年将达到44 ZB[1],如何有效地存储和传输如此海量的数据对技术人员提出了巨大的挑战。然而,最近的研究表明数据仓库中存在大量的重复数据[2]。因此,一种高效的降低存储冗余的无损压缩技术——重复数据删除,成为解决这一难题的重要方法之一。由于显著的数据缩减率,块级去重被应用于各种领域,例如存储系统[3-4]、文件传输系统[5]和远程文件系统[6]。
基于块级的重复数据删除方案是将数据流分解成多个数据块,并且散列每个块,其中使用散列函数生成各个数据块的指纹,在新的数据流进入存储系统之前,先通过分块算法将其分解成多个数据块,然后通过对比新数据块的数据指纹来确定是否存储。……
登录APP查看全文
