武警8710部队通信科 段志刚武警警官学院 吴耕锐 薄 鸟



一种武警云计算环境下集群重复数据删除策略

武警8710部队通信科 段志刚
武警警官学院 吴耕锐 薄 鸟

1　引言

随着大数据时代的发展，数据量正在爆炸式增长，数据更新变化也在时刻进行［1］。调查发现云端数据中心有60%以上数据是冗余的，这就为数据同步提出了巨大挑战。针对云环境下集群分布式存储的全局重复数据删除，存在着数据块索引磁盘瓶颈和存储节点信息孤岛两大困难：（1）数据块索引磁盘瓶颈：在存储服务器节点的磁盘上建立一个数据块索引序列，完成集群内数据存储节点的重复数据删除。（2）重复数据删除节点信息孤岛：针对云环境下集群系统的重复数据删除过程，往往忽略节点之间的重复数据删除，由此产生了重复数据删除节点的孤岛效应。

2　相关工作

现有云环境下的全局重复删除技术，如EMC公司的data domain全局重复数据删除阵列、IBM公司的protectTier、SEPATON公司的S2100-ES2等［2-4］，由于在全局数据缩减率、单节点存储率、数据分布或者系统通信开销上存在不足，利用这些技术来设计由成千上万节点构成的集群，很可能不会成功。Bhagwat设计了Extreme Binning策略，Extreme Binning基于文件的相似性，以加密Hash生成的Chunk ID。文献［5］设计了一种支持云环境下大数据备份的可扩展在线集群重复数据删除框架。

本文利用Bloom Filter机制为存储节点内的所有数据块指纹建立一个全局的快速索引，从而实现支持高数据缩减率、高吞吐率、低通信开销及负载均衡的全局重复数据删除。……