中国移动苏州研发中心|刘鸿 张绍文

中国移动大云对象存储BC-oNest，是一款面向非结构化数据的弹性存储服务，可提供高可靠的海量存储空间，支持海量文件的存储、访问和管理。目前，BC-oNest已经被广泛应用在中国移动内部针对非结构化数据的存储环节。

近年来，随着万物互联、移动互联网和人工智能等技术的兴起，视频、图片、文件等非结构化数据的存储难题也随之涌现。根据IDC预测中国云存储市场在2019年将达到19亿美元，数据总量超过6ZB。而非结构化数据存储主导未来数据存储，云存储将成为带动未来公有云服务发展的核心动力。

就中国移动本身的数据而言，之前中国移动话单、图片、视频等非结构化数据主要使用华为/中兴等文件存储系统，采购成本高，扩容易受厂家影响。2017年上半年中国移动数据流量同期增长133.9%，达2327.9PB，成为集团第一大收入来源，同期物联网连接规模超过8000万，其产生数据不断增长。随着存储规模的不断增长，对存储系统的可管理性、可扩展性和监控等提出了更高的要求，在这样的背景下，降低存储成本已成为中国移动首要考虑的要素之一。

同时，媒体云、影像云、直播云、监控云、云端网盘等类云平台均呈现出对象存储的大容量需求：一是用于满足新增音视频存储，二是将原有海量对象文件迁移至云端保存，三是要求对象存储具备异地备份、快速扩容、媒体处理等功能。

本文介绍的中国移动大云对象存储BC-oNest，是一款面向非结构化数据（图片、音视频、日志文件、监控数据等）的弹性存储服务，可提供高可靠的海量存储空间，支持海量文件的存储、访问和管理，如文本、图片、XML、HTML、音频和视频等，支持存储空间的线性扩展，并提供更强的扩展能力和互联网化的HTTP REST接口，是解决海量数据存储问题的上上之选。

图1 BC-oNest产品架构

目前，BC-oNest已经被广泛应用在中国移动内部的非结构化数据的存储，并已有银行等集团外企业使用的案例。那么，中国移动作为电信运营商，内部开发的BC-oNest对象存储系统是否能支持这么大的业务量？和业界主流的对象存储系统相比，其功能点是否能满足用户的需求，如异地备份、媒体处理等？下文进行详细解析。

BC-oNest产品架构

图2 BC-oNest产品高级特性

BC-oNest分布式对象存储以CEPH为基础，支持业界标准接口，并针对实际生产环境的应用进行了功能扩展，如智能部署、存储管理功能完善、性能调优等，在一个高度灵活且统一的平台上提供对象存储服务。BC-oNest设计原理符合软件定义存储（Software Defined Storage,SDS）概念，存储的控制工作由软件实现。BC-oNest产品可以运行在符合工业标准的主流服务器上，目前以x86服务器为主。其扩展性好可满足成千上万个用户PB级甚至是EB级的数据访问。

BC-oNest对象存储系统采用分层架构，由硬件层、核心层、服务层、接口层和统一平台五部分组成。其中统一平台相对独立，负责集群管理、监控及告警等内容，其余四层架构相互依赖，自下而上支撑整个存储系统并提供高级功能。

BC-oNest硬件层负责硬件的管理以及硬件故障检查，通过智能的硬件检查技术，可及时发现硬盘、网络及操作系统等故障，及时告警，并尝试修复部分常见问题。

BC-oNest核心层负责数据的分布和一致性保障等，用户可以根据成本等需求，可以采用多副本还是纠删码的方式进行数据存储。这一层存储数据并保证数据的完整性。

BC-oNest服务层基于核心层提供的功能进行数据的平衡、隔离及迁移等处理，对上层接口屏蔽相关实现细节。数据的平衡和迁移可以灵活的进行控制，可根据系统实时信息和客户需求来执行。比如：可指定允许的硬件恢复时间，在该时间段内不进行数据平衡和迁移，以避免硬件恢复后重复数据过多。

其接口层主要服务于对象存储网关(Rados Gateway，RGW)，RGW 给用户提供 REST API，并且兼容AWS、S3接口和Openstack Swift接口。如果客户认为S3/Swift接口语义过于复杂，可利用接口层暴露的原始接口进行深度定制。

统一平台提供了自动化的集群部署、可视化的存储管理和智能的监控告警功能，通过统一平台，可完成对集群的管理、更新和维护。统一平台是高可用的，充分满足客户对稳定性和可靠性的要求，系统简单而强大。

BC-oNest主要特性

BC-oNest是分布式的对象存储系统，整个产品架构从下而上紧密结合，稳定的为用户提供服务，其主要以下特性：

（1）服务可用性99.9%，数据可靠性99.99999999%，无单点故障，支持水平扩展；

（2）支持至少千亿级对象存储，单个对象最大5TB，可跨数据中心容灾备份；

（3）支持用户可选的客户端数据加密存储，整个过程对用户透明；

（4）支持系统和存储资源监控及告警功能，易运营可管理；

（5）提供准实时统计计量能力（容量、流量、请求次数），支持用户按需付费；

（6）高级特性见图2。

所以BC-oNest因其分布式的结构可以轻易管理成百上千个节点，PB级以上的存储集群，基于计算的扁平设计，使得客户端可以和服务端的任何节点进行通信，避免了存在访问热点而导致的瓶颈问题，可以大规模的进行存储数据。BC-oNest产品除了能支持大业务量，产品提供的功能点也能满足用户的需求。

和业界主流的存储产品从功能和性能上都进行对比，BC-oNest产品以移动云为例。

● 基础功能

图3 基础功能对比

● 高级功能

图4 高级功能对比

注：其中多版本和生命周期，BC-oNest产品支持swift接口，不支持s3接口。

● 性能对标

对比移动云(EOS)，友商1和友商2在大小文件的上传，下载和删除性能。

友商1对128K以下的小对象有较强的性能优势，但是从128K到1M区间（此区间带宽小于300MB/s）的上传和下载吞吐量图表中可以发现EOS的优势逐渐体现，若沿着这个趋势并结合EOS平稳的发展趋势，可知EOS在1M以上对象上传和下载存在一定优势。删除性能方面，EOS采用的是同步删除，而友商1和友商2采用的是异步删除机制，整个删除过程中，EOS和友商1性能趋向于平稳。

图5 性能对比（灰线是友商1，蓝线是友商2，橘线是EOS。）

图6 社区排名

BC-oNest产品相比于友商1、友商2有些功能点现暂不支持，但是其中大部分的功能点在我们最新发布的版本中已经支持。性能方面，大文件的上传和下载性能相对于友商1、友商2有一定的优势。BC-oNest产品无论是功能还是性能都能满足广大客户的需求。苏研院不仅有好的对象存储产品，还有好的开发团队，就2017年，中国移动在ceph开源社区的总体排名为第六位，总合并的补丁数为100个。