武 娟 ，黄 海 ，钱 锋 ， 李拥军 ，寿质彬

（1.中国电信股份有限公司广东研究院 广州510630；2.华南理工大学计算机科学与工程学院 广州510006）

1 引言

云计算是一种基于互联网的、大众参与的计算模式，其计算资源是动态、可伸缩、虚拟化的，而且以服务的方式提供。Google是云计算研究的先驱者，陆续提出GFS模型、MapReduce模型、BigTable模型，同时在Apache网站上发布MapReduce和GFS对应的Hadoop开源项目，它是一个运行在由大量廉价机器组成的集群上的分布云计算系统，具有廉价、高效、可靠以及可伸缩等特点[1]。Hadoop利用NameNode节点管理Hadoop集群，DataNode节点保存数据，并且引入了负载均衡机制。其负载均衡包含两方面含义：其一是在保存文件和数据时，将文件块保存任务平摊分给每个DataNode，让每个DataNode均匀保存一定数量的文件块；其二是当系统出现负载不均衡时（如系统加入新的节点或现有节点发生故障），HDFS可以进行系统均衡处理，以保证每个DataNode的文件块数量均衡。

对于第一个均衡机制而言，根据Hadoop源码分析可以得出Hadoop默认的数据块放置策略[2]是在本地机架某台DataNode放置一个数据块副本，另外一个数据块副本存放在不同(远端)的机架上的某台DataNode上，最后一个数据块副本放置在同一个远端机架的另外一台DataNode上。这种策略减少了机架内的写负载，从而总体上提高了写性能。由于整个机架失效的概率要比单个节点失效的概率小得多，因此这种方法不会影响数据的可靠性。但是，采用这种策略，文件块并不是均匀地放置在HDFS里，2/3的数据块被放置在了同一机架上，另外1/3被放置在了另一个机架上。……