史爱武，张煜

（武汉纺织大学数学与计算机学院，武汉430200）

0 引言

由于本世纪信息化的蓬勃发展，互联网上的数据呈爆炸式增长，信息化迎来了第三次浪潮[1]。面对海量的文件数据，一个好的文件系统是支持大数据应用的基础。Hadoop作为GFS的开源实现，由于其强大的影响力在大数据行业的应用越来越广泛。Hadoop由许多元素组成，它的底层文件系统是HDFS，配合上层的MapReduce并行计算引擎，可以完成海量数据的并行计算。考虑到集群是由廉价设备组成，节点发生故障被认为是常态。为此HDFS采用了在多个节点上存放副本的方式，来保障系统的容错性和高可用性[2]。若选择的节点是集群上的一个子集，会导致新的更可能被引用的副本数据过于集中，降低了集群的可用性。若选择的节点负载过高，又会影响文件的写入速度。因此，副本的放置策略成为了一项值得研究的课题。

1 HDFS副本策略相关研究

HDFS集群是一个主/从体系结构，由名称节点以及众多的数据节点组成[3]。名称节点作为主节点负责存储系统的名称空间，数据节点则存储系统的文件副本。当客户端上传文件到集群中时，首先向名称节点发送上传请求。名称节点同意上传后，客户端请求上传文件的第一个Block。名称节点根据副本放置策略选出满足条件的副本放置节点，返回给客户端。客户端请求第一个节点上传数据，节点依次跟后面的节点建立通信管道。数据沿着管道依次上传，第一个Block上传完成后，客户端继续请求上传第二个block，直到文件的最后一个Block上传完成。……