孙玉林++王晓卉

摘 要

针对电商平台海量图片的检索出现的性能瓶颈问题，本文提出一种基于Hadoop的海量图片检索策略，通过Sequence实现对小图片合并，并在合并过程中设定单个Sequence File的偏移量，解析索引快速定位存储图片Block的DataNode和Fileld，解决海量图片数据扩容和快速检索的问题。

【关键词】分布式系统 海量图片 检索策略

随着互联网的普及和广泛应用，电商平台和社交网络也不断发展，用于商品展示或社交分享的图片数量呈爆炸式增长。在这些电子商务网站和社交网站上，图片的信息表达远远超过了文字信息的描述，所以这些电子商务网站和社交网站更加注重图片的质量。从对淘宝网的分析来看，在整个商务平台的流量中，对图片的访问高达91.5%以上。腾讯相册的用户每周上传的图片也高达11亿张，目前的总图片数量有近700亿张，总容量高达15PB。由于海量图片需要消耗海量的存储空间，图片的存储和检索都会出现性能瓶颈。面对海量的图片资源，如何高效的检索以及如何在满足高并发访问的前提下构建高效廉价的检索系统成为需要迫切解决的问题。

1 Hadoop云计算平台

Hadoop是一个能够对大量数据进行分布式处理的软件框架，同时它又是可靠、高效、可扩展的。可靠性体现在它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。高效性体现在它以并行的方式工作，通过并行处理加快处理速度。可拓展性指其能够处理PB级数据。……