欧跃发+黄文明

摘要：传统HDFS缺乏存储和访问优化，以致在多用户并发系统中难以发挥集群优势。该文设计了一个基于HDFS的中间件，主要对数据块、存储负载均衡和数据访问三方面进行了优化，并提出了相应的改进算法。仿真实验证明，改进后的HDFS系统，在多用户并发和低延时访问方面有了明显提高，进而能够在网盘系统、视频系统、数字化校园等系统中得到更好的应用。

关键词：Hadoop；HDFS；MapReduce；负载均衡；分布式计算

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）08-0243-04

Abstract： As the traditional HDFS lack the optimization of storage and access， it is difficult to play a cluster edge in multi-user concurrent systems. This paper is designed a middleware based on HDFS，which is mainly optimized on the data block， the load balancing of storage and data access and it presents the corresponding improved algorithm. Simulation results show that the improved HDFS systems has been significantly improved in multi-user concurrency and low latency access， thus it will get a good application in network disk system， video system， and other digital campus system in the future.

Key words： Hadoop； HDFS； MapReduce； load balancing； distributed computing

1 引言

1.1 HDFS框架

HDFS[1]是Hadoop[3]分布式文件系统的实现。它采用主从（Master/Slave）体系结构，名字节点Namenode、数据节点DataNode和客户端Client是HDFS中的3个重要角色。名字节点是一个中心服务器，是分布式文件系统的管理者，负责管理文件系统的命名空间、集群配置和数据块复制等。数据节点是文件存储的基本单元，以数据块的形式进行存储。客户端和名字节点、数据节点进行通信，访问HDFS，并对文件进行操作。基于HDFS的云存储平台，可以减少专用服务器的数量，降低应用成本，提高系统的性能、稳定性和效率，所以它不仅在工业界得到推崇，在如传媒、电信、金融、学校等传统行业中也备受青睐。当前HDFS主要应用在数据的存储和为MapReduce高性能计算提供底层支持两个方面，在多用户并发访问系统中却没有发挥出集群优势。

文献[1-4] 主要对Hadoop和HDFS进行了详细介绍；文献[5]详细介绍了GFS的系统架构，工作负荷分析，并使用一些小规模基准测试来展现了GFS在实现上的一些固有瓶颈；文献[6]描述了Bigtable提供的简单的数据模，Bigtable的设计和实现，并从引入局部性群组、压缩、增加缓存提高读操作等策略来提高Bigtable的性能；……