一种面向容灾存储系统的重复数据删除方法
2018-04-10◆彭刚
网络安全技术与应用 2018年4期
◆彭 刚
一种面向容灾存储系统的重复数据删除方法
◆彭 刚
(四川大学计算机学院 四川 610065)
针对海量数据的存储和备份存在大量的冗余数据,造成存储空间的巨大浪费问题,本文分析了现有的重复数据检测和删除技术,提出了一种面向容灾存储系统的重复数据删除方法——FWinnowing(Fast Winnowing )。FWinnowing采用改进后的Winnowing动态分块算法对数据进行分块,使用MD5计算各个分块的数据指纹值,通过检索指纹库来判断指纹值是否已经存在,从而判断出该块所对应的数据是否重复,最终达到重复数据检测和删除的目的。本文对FWinnowing进行了实验验证,结果表明该方法相比较现有的重复数据检测和删除方法,有效地降低了网络传输流量并提高了重复数据检测率。
容灾备份;重复数据;FWinnowing
0 引言
市场调研机构IDC预计,未来全球数据总量年增长率将维持在50%左右,55%的数据需要进行容灾备份并且应用系统中有60%的数据是冗余的[1]。为了节省存储资源,降低网络数据传输带宽重复删除技术已成为一个热门的研究课题。基于目前该领域的研究成果,比较知名的重复数据删除技术应用有基于全文件检测的Windows2000单实例存储系SIS、基于定长分块检测的归档存储系统Venti、基于文件内容(不定长分块)检测的低带宽网络系统LBFS等[2]。以上各应用采取的文件分块算法存在不同程度的缺陷。为此,本文设计并实现一种面向容灾备份存储系统的更为有效的重复数据删除方法——FWinnowing。
1 方法应用场景

图1 灾备系统网络拓扑图……p>
登录APP查看全文
