熊安萍，熊风波

(重庆邮电大学 计算机科学与技术学院,重庆 400065)



基于HBase的小文件高效存储方法

熊安萍，熊风波

(重庆邮电大学 计算机科学与技术学院,重庆 400065)

摘要：基于Hadoop平台的相关系统得到了广泛应用。Hadoop分布式文件系统(Hadoop distributed file system,HDFS)通过分布式的工作方式，负责处理海量文件数据。对HDFS而言，海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况，提出一种基于HBase(Hadoop database)的海量小文件高效存储方法，利用HBase的存储优势，将小文件直接存储于HBase，从而有效减少元数据节点服务器(NameNode)的负载，并对上层应用系统提供透明的访问接口。实验结果表明，该方法可以实现海量小文件的高效存储，提高HDFS环境下小文件的读写效率。

关键词：Hadoop分布式文件系统(HDFS)；海量数据；HBase；小文件存储；读写性能

0引言

随着互联网的不断发展，数字信息正在呈爆炸式增长，如何高效地处理和存储海量数据成为一个亟待解决的问题[1]。凭借其开源、易用的特点，Hadoop分布式平台已成为管理和处理海量数据的首选方案。以Hadoop分布式文件系统(Hadoop distributed file system,HDFS)为基本存储，并通过Map-Reduce计算框架提供各种服务，使得用户可以在低廉硬件环境下搭建Hadoop集群，利用HBase等组件完成海量数据的处理和分析任务[2]，从而为超大数据集的处理及应用提供了一种低成本的分布式存储解决方案，因此，近年来得到了广泛的应用。

HDFS的主要工作对象是大文件，对于存储海量小文件并不合适。小文件指的是那些size比HDFS 的block size(默认64 MByte)小得多的文件。……