林伟伟 刘波

(1.华南理工大学计算机科学与工程学院，广东广州510006;2.华南师范大学计算机学院，广东广州510631)

随着互联网的快速发展和数据规模的增大，出现了越来越多的数据密集型应用，这些应用常常涉及数千兆字节的数据，适合大规模分布式数据处理的Hadoop［1-6］随之产生.Hadoop 是 MapReduce［7］分布式编程模型和GFS［8］数据存储方式的开源实现，如今Hadoop已经有很多较为成功的应用，如Yahoo［9］和 Facebook，其它网站(如 Last.fm［10］和 Amazon［11］等)也都在部署Hadoop以管理基于大量数据的应用.

当一个Hadoop集群运行一定时间之后，节点的动态加入和退出会引起系统中数据负载的不均衡，新加入到集群中的数据节点需要进行负载均衡操作.数据负载均衡对云计算环境下的数据密集型应用的执行性能有着重要的作用［12］，良好的负载均衡策略能有效地避免网络负载分布不均、数据流量拥挤、响应时间长等瓶颈，提高应用的执行效率.良好的负载均衡有两方面的含义:(1)大量的并发访问或数据流量分担到多个节点设备上分别处理，减少用户等待响应的时间;(2)单个重负载的运算分担到多个节点设备上并行处理，每个节点设备处理结束后，将结果汇总返回给用户，系统处理能力得到大幅提高.Hadoop默认的HDFS［13］负载均衡是以牺牲集群性能的方式来完成的.因此，需要设计一个在能保证HDFS性能最优的同时又能缩短整个负载均衡过程耗时的动态负载均衡方法.

虽然HDFS提供的数据负载均衡程序Balancer［12］可以对各个节点进行存储负载……