周晓庆 周智勇 高江锦 肖建琼 罗兴贤

摘要：随着 Internet的飞速发展与深入应用，海量图片数据的存取问题显得越发突出，传统存储架构已突显管理效率不高、存储能力不足及成本太高等问题，Hadoop为我们提供了一种新的解决问题的思路，Hadoop可以充分利用集群的威力进行高速运算和存储，但是小文件过多时Hadoop的NameNode将导致内存出现瓶颈问题，使得系统效率变得极为低下。该文提出了一种基于Hadoop的、可对海量图片文件进行高效处理的存储架构，通过预处理模块的归类算法，并引入扩展一级索引机制，能较好地解决海量图片的处理问题，并避免内存瓶颈问题。实验表明，该系统易维护、具有良好的可扩展性，其稳定性、安全性、并发性均有较大改善。

关键词：海量图片；Hadoop；分布式计算；存储架构

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）17-0135-03

Abstract： With fast development and deep appliance of the Internet， problem of mass image data storage stand out， so the problem of low management efficiency， low storage ability and high cost of traditional storage framework has appeared. The appearance of Hadoop provides a new thought. However， Hadoop itself is not suit for the handle of small files. This paper puts forward a storage framework of mass image files based on Hadoop， and solved the internal storage bottleneck of NameNode when small files are excessive through classification algorithm of preprocessing module and lead-in of high efficiency and first-level of index mechanism. The test manifests that the system is safe， easy to defend and has fine extension quality； as a result， it can reach to a fine effect.

Key words： Massive Images； Hadoop； Distributed Calculation；storage framework

1 背景

随着 Internet的飞速发展与深入应用，大型门户网站、电子商务网站及网络社区大量出现，这些网站都存储有大量图片，传统的技术架构在处理海量数据方面显得越来越乏力[1]。如何构建一个能高并发访问且廉价高效的图片存储管理系统已经成为一个亟待解决的问题。云存储概念的提出给我们提供了一种解决思路， Hadoop能够对海量数据进行分布式高效处理，然而， HDFS并不是为处理小文件而设计的[2][3]，要用Hadoop来进行海量图片的存储及处理，必须对其进行改进。通过对Hadoop的HDFS、MapReduce技术的研究以及图片存储的业务需求分析[4]，我们提出了一种基于Hadoop的海量图片存储模型。……