王建宇

[摘 要]在目前开源世界的存储项目中，不同的项目都有侧重点，然而，存储接口需求、扩展、运维和成本是企业级存储产品的四大关注点。Ceph是一种支持对象存储、块存储、文件存储的独特统一的系统，具有高可用、易管理、免费等特点。本文介绍了当下流行的Ceph分布式存储架构，描述了Ceph的基本结构每个组件的作用及如何创建和优化Ceph集群，并就Ceph作为OpenStack的后端存储、高效集成，及CRUSH算法进行了分析。

[关键词]OpenStack；Nova；Cinder；Ceph；RADOS

doi：10.3969/j.issn.1673 - 0194.2016.04.121

[中图分类号]TP333 [文献标识码]A [文章编号]1673-0194（2016）04-0-01

1 OpenStack的后端存储

OpenStack是目前最流行的开源云平台技术，是云计算公司赖以实现IaaS服务形式的重要解决方案。OpenStack所包含的组件相对较多，各个组件间存在依赖关系，如每个组件都会依赖Keystone，Nova还依赖于Glance、Neutron和Cinder；此外多个组件，如Neutron、Cinder和Glance还存在多种存储后端。

2 Ceph的基本原理和架构

Ceph是一个开源、统一、分布式的存储系统，是一套适于大规模的、宏大的分布式存储解决方案，同时提供文件、块与对象服务的系统，适于大PB级别的应用。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。

（1）Ceph Client是Ceph文件系统的用户，透明地为用户提供访问接口。

Ceph客户端包括下面几项服务接口：

Block Devices：Ceph RADOS Block Device（RBD）服务提供可调整大小、thin-provisioned并支持快照和克隆的块设备。Object Storage：Ceph Object Storage服务提供了与亚马逊S3和openstack Swift兼容的RESTful API接口。

（2）元数据服务器MDS的工作就是缓存和同步分布式元数据，管理文件系统的名称空间。虽然元数据和数据两者都存储在对象存储集群，但两者分别管理，支持可扩展性。事实上，元数据在一个元数据服务器集群上被进一步拆分，元数据服务器能够自适应地复制和分配名称空间，避免出现热点。

（3）OSD：将数据和元数据作为对象存储。每一个disk、SSD或RAID group或其他一个物理存储设备都成为一个OSD，主要负责存储和查找对象，并且负责向该对象的复制节点分发和恢复。OSD是访问文件系统并向其中写入数据的后台进程，它提供了通过集群网络访问文件系统的能力。

（4）Monitor：执行监视功能，维护集群的成员和状态，提供强一致性的决策。但是故障管理的一些要素是在对象存储本身中执行的。当对象存储设备发生故障或者新设备添加时，监视器就检测和维护一个有效的集群映射。这个功能按一种分布的方式执行，这种方式中映射升级可以和当前的流量通信。

3 Ceph与Swift的比较

Ceph和Swift是开源分布式存储系统中的两个优秀代表，Swift最早起源于2008年，设计目标十分纯粹，就是一个优秀的、可以和Amazon S3相媲美的对象存储系统。从技术上讲，Swift的特点主要体现在设计目标明确，就是要做一个纯粹的对象存储系统，因此不会考虑Ceph所强调的统一存储特性。同时，为了便于和其他项目、应用集成，Swift选择了Python语言进行开发。

在实际使用中，毕竟还是需要进行方案选择，如果你只需要用块存储，那当然是Ceph，如果只需要用对象存储，那当然是Swift。各自有擅长的地方，不过现在Ceph也支持对象存储，那么，即要用对象存储又要用块存储的场合，是用Swift还是Ceph呢？笔者一般是这样推荐的：

（1）如果节点数量很大，推荐用Ceph单独做块，用Swift做对象存储，因为在节点数量较大时，Ceph的维护成本比Swift要高，大多数场景实际应用的时候会发现，大部分数据都可以放到对象存储上。

（2）如果节点数量少，那就用Ceph统一搞定，因为一般认为生产环境中最小的分布式存储应当有5个节点，所以，如果节点数量少于10个或者刚到10个，那构建两个分布式存储显然是不理想的（考虑到空间划分问题）。

（3）如果团队里有技术高手能较好解决Ceph大规模部署问题，最好用Ceph。

4 OpenStack与Ceph的整合

对于一个IaaS系统，涉及存储的部分主要是块存储服务模块、对象存储服务模块、镜像管理模块和计算服务模块。具体针对OpenStack而言，则分别对应为其中的Cinder、Swift、Glance和Nova等4个项目。

在计算服务部分，目前正在推动将Ceph FS作为Nova计算节点的本地文件系统。使用CephFS作为OpenStack中的共享实例存储可以在OpenStack中使用Ceph块设备镜像，Ceph块设备镜像被当作集群对象。还可以使用OpenStack Glance来存储镜像在Ceph块设备中。OpenStack的Nova、Glance、Cinder之间没有数据传输，快速创建虚拟机，只需要管理一个统一存储。

5 结 语

总体而言，Ceph是面向大型存储应用的，用以解决企业各种应用类型的复杂情况，需要专业的技术服务团队作技术支撑。中小企业没有这么多数据要存储也没有足够的钱请专业技术服务团队运维，那么中小企业也可以使用NFS、ISCSI用于存储虚拟机镜像或作为虚拟机的附加卷来配合OpenStack使用。

主要参考文献

[1]李刚建.基于虚拟化技术的云计算平台架构研究[J].吉林建筑工程学院学报，2011（1）.

[2]闪四清.ERP系统原理和实施[M].第2版.北京：清华大学出

版社，2013.