基于Hadoop的海量小文件存储方法的研究
2014-05-27时倩方睿岳亮彭榆峰
数字技术与应用 2014年1期
时倩 方睿 岳亮 彭榆峰
摘要:随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。
关键词:HDFS 海量数据 小文件 存储优化
中图分类号:TP333 文献标识码:A 文章编号:1007-9416(2014)01-0050-02
1 引言
Hadoop[1]是由Apache基金会研发的能够对海量数据进行分布式处理的基础框架,是海量数据存储与处理的理想平台。然而由于Hadoop采用流式方式读写文件,对于大文件处理效率极高,但对小文件处理效果并不是很好。当处理如气象数据这种海量小文件时,Hadoop的优势并不能展示出来,故需要对小文件的存储进行优化。
2 HDFS的系统架构
HDFS是Hadoop的分布式文件系统,其具有高容错性的特点,设计用来部署在低廉硬件上,能够提供极高的数据吞吐量,适合那些有着超大数据集的应用程序[2],因而成为了云存储平台的代表性系统。
HDFS采用主从架构,由一个名称节点和多个数据节点组成。名称节点是HDFS的主服务器,主要负责管理元数据和数据块、持久化元数据、处理请求及管理数据节点,数据节点主要负责数据块的读写、向名称节点报告状态及执行数据的流水线复制。客户端通过与名称节点和数据节点的交互来访问整个文件系统。
3 HDFS处理海量小文件存在的问题
HDFS设计用来对大文件进行流式存储,在处理小文件时会产生一些问题[3]。……
登录APP查看全文
