王丽娟，蔡晓东，王　迪，赵勤鲁

(桂林电子科技大学 信息与通信学院，广西 桂林 541004)



基于集中式管理的缓存优化方案

王丽娟，蔡晓东，王迪，赵勤鲁

(桂林电子科技大学 信息与通信学院，广西 桂林 541004)

摘要：针对分布式文件系统HDFS 以流式的方式访问大文件时效率很高，但是为解决海量小文件的操作特别是频繁访问重复的小文件时效率比较低的问题，提出了一种基于集中式管理的缓存优化方案。该方案通过对缓存的小文件进行集中式管理，采用一种新的数据一致性管理机制，提高海量小文件的读取性能。实验结果表明，该方案有效地提高了小文件的读取效率，减少了小文件的访问时延。

关键词：HDSF；集中式管理；缓存优化；一致性管理

在互联网、云计算、大数据等高速发展的背景下，数据呈现爆炸式地增长。而其中增长最快并且最容易给信息基础架构带来挑战的就是数目庞大的小文件。由于在元数据管理、访问性能、存储效率等方面面临巨大的挑战性，因此海量小文件(Lots of Small Files，LOSF)问题[1]成为了工业界和学术界公认的难题。

HDFS 分布式文件系统[2]是Apache Hadoop[3]项目开发的适合运行在通用硬件上的分布式文件系统，具有高可靠性、高容错性的特点，能提供高吞吐量的数据访问，适用于海量数据集的存储和分布式处理。然而HDFS 文件系统并非是完美的，HDFS的设计建立在“一次写入、多次读取”任务的基础上，对HDFS来说，请求读取整个数据集要比读取一条记录更加高效。如果要处理一些用户要求时间比较短的低延迟应用请求和频繁读取大量小文件，则HDFS不适合。……