郭东新，张伟,2，荆忠航

（1.北京信息科技大学计算机学院，北京100101；2.北京信息科技大学，北京材料基因工程高精尖创新中心，北京100101）

0 引言

目前，交通和公安等部门在存储和查询海量车辆小图片时，随着访问需求和车辆信息的快速增长，对效率的要求越来越高。同时，在大数据平台中存储小图片时，由于每张车辆图片的大小均小于HDFS 的数据块大小（默认为64MB），而且小图片的数据量为大文件的几十倍，导致NameNode 内存瓶颈、MapReduce 性能降低和高存储时间三个方面[1-4]的问题出现。

因此，研究如何优化车辆小图片的存储，可以提高小图片的存储和读取效率，有助于交通和公安等部对于海量小文件存储优化的方法，国内外学者已经开展了研究，并提出了一系列操作和方法，主要分为改进系统结构、小文件合并和针对特定场景的小文件合并三种方式。

ElKafrawy P M[5]提出了一种新的结构HDFSX，管理主存储器的元数据。当元数据量达到阈值时，将其余元数据存储在闪存上，从而解决主存储器上元数据的内存瓶颈问题。Bok K[6]提出了一种分布式缓存方案，使用客户端和数据节点缓存元数据，从而有效地提高HDFS 中小文件的访问性能。Fu S[7]提出了一个扁平的轻量级文件系统（iFlatLFS），设计一个简单的元数据方案和一个扁平的存储体系结构进行管理小文件，从而显著减少了元数据的数量。上述方法通过改变系统结构，可以有效地解决小文件问题，但是需要改变文件系统或者在现有文件系统上增加额外的缓存节点，增加了系统的建设成本和复杂性。……