李 云,张海明

1(中国科学院 计算机网络信息中心,北京 100190)

2(中国科学院大学,北京 100049)

1 概述

随着大数据时代的到来,分布式文件系统因其良好的拓展性、支持大规模存储而备受关注.很多优秀的分布式文件系统也随之出现,例如谷歌的GFS[1]、Facebook 优化过的HDFS[2]、阿里的TFS[3]以及开源社区的明星项目CephFS[4]、GlusterFS[5].这些分布式文件系统在实际使用过程中在拓展性、存储规模方面都表现得十分出色.但是,在面向用户提供数据服务时相比于普通的文件系统缺少了灵活性,普通的文件系统可以通过直接搭建FTP 服务来为用户提供数据服务,方便用户上传下载数据,而分布式文件系统由于其自身的局限性,无法直接提供类似的服务.因此,就分布式文件系统如何面向用户提供高效的数据服务,本文提出基于FTP 协议的解决方案——SPDScheme.

分布式文件系统向外提供数据服务接口,但是这些接口对于用户并不友好.需要由研发人员将这些接口进行封装,使之成为方便用户使用的方式.在工业领域,目前常用的方案是将分布式文件系统挂载到普通文件系统上,通过在普通文件系统搭建FTP 服务端来向外提供服务,这种方案的优势在于快速搭建,但是劣势也十分明显,无法对分布式文件系统的特点以及用户服务做出有针对性的调整.SPDScheme 主要设计了一个基于FTP 协议的独立服务SPDServer,作用于用户和分布式文件系统之间,根据分布式文件系统的高IO、高吞吐量等特点进行优化,同时根据一些用户……