农健

摘要：随着在线教育模式的发展，不管是用户规模还是视频资源量都有了很大的提升，这就要求对存储与系统整体性能进行进一步提升与优化。在数据存储以及用户反馈过程中，分布式技术具有较高的应用价值，其中负载均衡算法则对系统性能有着关键影响。鉴于此，该文对HDFS与负载均衡技术进行简单介绍，并围绕基于HDFS的分布式存储系统设计实现及负载均衡技术进行研究，希望能够为该项技术领域的发展提供一点理论支持。

关键词：分布式存储；HDFS；负载均衡；资源调度

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2017）33-0004-03

1 HDFS与负载均衡技术概述

1.1 HDFS介绍

在海量大文件的存储中，HDFS的可靠性与高效性特点非常突出。对于系统文件而言，所有数据资源在系统中的存储模式都是以Block为基础，在大部分情况下，人们会按照64MB来设置Block的容量，其中，有一个名为复制因子的元素对于资源副本数目起到决定性作用。根据资源文件副本数的不同，HDFS会按照不同的存储机制对其进行处理，资源文件的存储也是以副本数目为依据而实现的，从中可以获取冗余备份，同时基于HDFS，POSIX的要求也被放宽，如此一来，在文件系统数据的访问中就可以对流的形式加以运用。关于HDFS的基本特征，主要可以涉及五个方面，具体阐述如下：

第一，HDFS大数据的分布存储方面具有强大功能。HDFS的扩展能力非常突出，并且可以按照分布式存储形式为大数据存储提供支持，对于不同的数据节点的文件系统，HDFS都可以对其加以利用，进而使一个具有教导容量的存储系统得以形成。……