杨天明　吴海涛

(黄淮学院国际学院　河南 驻马店 463000)



一种批处理块级数据去重方法

杨天明吴海涛

(黄淮学院国际学院河南 驻马店 463000)

摘要数据去重能消除备份中的冗余数据，节省存储资源和网络带宽，因而成为当前数据存储领域的研究热点。针对常用的块级数据去重技术指纹查询开销高、系统吞吐率低等问题，提出一种批处理块级数据去重方法，通过内存缓冲区对指纹进行排序，实现磁盘索引的顺序查询。同时文件以一种双指针有向无环图的结构存储在系统中，以消除文件读时引起的随机磁盘I/O开销。实验结果表明，该方法有效克服了指纹查询的磁盘I/O瓶颈，提高了数据去重时的系统读写性能。

关键词备份数据去重指纹查询批处理

0引言

生产和科技的高速发展不但带来了数据的爆炸性增长，而且使得数据的重要性日益提升。如何快速有效地对数据进行备份成为数据保护领域亟待解决的关键问题之一。

研究发现重复数据大量存在于信息处理和存储的各个环节。传统的备份技术不能有效消除重复数据，浪费了存储空间和网络带宽[1]。近年来，数据去重技术迅速成为数据保护领域一个新的研究方向[2]。常用的数据去重方法把数据流或文件分成较小的数据块，比较数据块指纹以消除重复数据块[3]。为了保证数据块指纹的唯一性，一般使用安全哈希函数如MD5[4]对数据块内容进行哈希来得到指纹。系统通过磁盘哈希表建立指纹到数据块的映射，由于磁盘哈希表较大而不能存储在内存中，加之指纹的极度随机性，在备份过程中查询指纹会导致随机磁盘I/O[3]。……