段翰聪，向小可，吕鹏程



MUSE：一种面向云存储系统的高性能元数据存储引擎

段翰聪，向小可，吕鹏程

(电子科技大学计算机科学与工程学院 成都 611731)

该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先，其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎LevelDB方案，通过设计多缓存表和多线程紧凑机制对该方案进行优化，使其可以充分利用内存和多核CPU并行能力；其次，提出了基于多I/O通道的元数据存取调度机制。通道之间读写操作隔离，聚合多个通道为上层提供高并发随机I/O读写能力；MUSE能够很好地适应海量小文件存储场景，相对于其他元数据存储系统在性能上有显著的提升。

I/O; LSM-tree; 海量; 元数据; 性能; 小文件; 存储引擎

随着互联网服务数量和数据量的激增，需要存储的非结构化数据量也在快速增长。传统的存储方案不能满足海量文件服务，因此可扩展的分布式存储系统应运而生，但是元数据的存储策略一直是分布式存储系统性能的瓶颈。

从对磁盘介质的分析看出，磁盘最适合顺序的大文件I/O方式，而不适合随机的小文件I/O方式，然而目前大多数的分布式存储系统的元数据组织都是针对大文件存储和可靠性[1]进行设计的，因此基于海量小文件的应用在性能和存储效率方面要大幅降低，甚至无法工作。以下是目前存储系统在海量小文件情况下元数据管理存在的问题：

1) 由于文件的inodes在磁盘中随机存储，访问文件时，路径中所有目录分量的inodes都需要被读取，这将生成大量的磁盘随机I/O。……