APP下载

基于ZTE云存储技术的架构分析

2019-03-16王永平

计算机时代 2019年2期
关键词:云存储集中式分布式

王永平

摘  要: 随着云计算技术的飞速发展,传统的集中存储技术已经越来越不适应当今社会的需要,云存储技术通过虛拟化、分布式系统、对象存储等逐渐替代了传统存储技术的市场。文章从云存储技术实现层次、ZTE集中式存储架构、ZTE分布式存储架构三个方面入手,结合虚拟化、分布式系统等核心架构技术,设计并整合了两种可以实施的云存储技术架构。

关键词: ZTE; 云存储; 集中式; 分布式; 架构

中图分类号:TP393.08          文献标志码:A     文章编号:1006-8228(2019)02-15-03

Analysis of the architecture of ZTE cloud storage technology

Wang Yongping

(Zhejiang Institute of Communications, Hangzhou, Zhejiang 311112, China)

Abstract: With the rapid development of cloud computing technology, traditional centralized storage technology has become more and more unsuitable for the needs of today's society. Cloud storage technology has gradually replaced the market of traditional storage technology through virtualization, distributed system, and object storage. This paper starts from three aspects: cloud storage technology implementation level, ZTE centralized storage architecture and ZTE distributed storage architecture, combined with virtualization, distributed system and other core architecture technologies, designs and integrates two implementable cloud storage technology architectures.

Key words: ZTE; cloud storage; centralized; distributed; architecture

0 引言

传统的存储技术是将所有的数据集成到单一的存储体系之中,以满足业务持续性需求。在当今信息量暴增的时代,数据的索引效率变得越来越为人们关注。在一些大型项目中,前端图像视频信息采集点过多,单台服务器承载量有限,造成需要配置成百上千台服务器的状况,这就必然导致建设成本、管理成本、维护成本、能耗成本急剧增加。在这个大数据时代,对于数据的安全存储和应用需要与之相适应的新的技术手段,而以分布式和并行处理为基础的云计算和云存储技术,在此过程中得到了极大地发展。

相对传统存储而言,云存储改变了数据垂直存储在某一台物理设备的存放模式,通过宽带网络集合大量的存储设备,通过存储虚拟化、分布式文件系统、底层对象化等技术将位于各单一存储设备上的物理存储资源进行整合,构成逻辑上统一的存储资源池,对外提供服务,从而在存储容量上得以从单设备TB级横向扩展至数十、数百PB,由于云存储系统中各节点能够并行提供读写访问服务,系统整体性能随着业务节点的增加而获得同步提升。同时,通过冗余编码技术、远程复制技术,进一步为系统提供数据中心级的故障保护能力。容量和性能的按需扩展、极高的系统可用性,是云存储系统最核心的技术特征。

1 云存储技术实现层次

从云存储的技术实现层次上看,从底层向上,可以分为存储层、管理调度层、访问接口层、应用服务层等四个层次,如图1所示。

存储层是云存储的基础,一台云存储节点设备能安装24个以上的硬盘,通过IP接口将大量的存储设备互连在一起,形成存储设备资源池。在一个云存储系统中,底层物理存储设备数量庞大,而且设备形态允许异构(这样可以接入传统的IP SAN或FC SAN),在物理存储设备之上是一个统一的存储设备管理层,实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。

管理调度层是云存储核心部分。管理调度层的主要功能是在存储层提供的存储资源上部署分布式文件系统,建立和组织存储资源对象,并将用户数据进行分片处理,按照设定的保护策略将分片后的数据分散存储到具体的存储资源上。同时,在节点间进行读写负载均衡调度,以及节点或存储资源失效后的业务调度与数据重建恢复等任务,以便始终提供高性能、高可用的访问服务[1]。

访问接口层是业务应用和云存储平台之间的一个桥梁,提供应用服务所需要调用的函数接口,通常云存储系统会提供一套专用的API或客户端软件,业务应用软件直接调用API或者使用云存储系统客户端软件对云存储系统进行读写访问。由于一个云存储系统需要支持多种不同的业务系统,而很多业务系统只能采用特定的访问接口,例如块接口或者POSIX接口,因此一个优秀的云存储系统,应该同时提供多种访问接口,例如ISCSI、NFS、CIFS、FTP、REST等,以便在业务适配方面具有更好灵活性[2]。

业务应用层通过云存储系统提供的各种访问接口,对用户提供丰富的业务类型,例如空间租赁服务、高清视频监控、视频图片智能分析、大数据查找等。

2 ZTE集中式存储架构分析

集中式云存储系统是一种典型的非对称式系统,在系统中,通常具有一个中央管理服务器,负责数据的存储和处理查询与修改请求。客户端每次对数据流的I/O操作,都需要先向管理服务器进行数据查询,客户端在获得需要读写的数据块物理位置等信息后,对于数据的I/O操作则直接在客户端和数据存储节点之间进行。相对于传统存储系统,集中元数据云存储系统将控制流和数据流进行了分离,系统在扩展性和处理性能方面获得了较大的提升,同时,由于元数据集中在一台服务器上进行管理,整个系统架构比较简单,降低了系统设计的复杂性[3]。

ZXCLOUD KS3200是一款模块化程度高的存储系统,提供iSCSI主机和FC主机连接技术,系统通过采用全冗余的、可热插拔的模块化技术构建,有高级别的数据存储可靠性。ZXCLOUD KS3200存储系统主要面向企业用户海量数据存储和硬盘数据备份等应用,包括高标清节目的制作、多媒体视频数据存储、IPTV、视频监控、中小数据库,以及文件归档与数据备份等应用。ZTE集中存储解决方案的组网如图2所示。

该方案中,ZXCLOUD KS3200作为核心存储设备,通过FC SAN、IP SAN和DAS等多种存储架构与局域网多台服务器建立连接,服务器通过普通千兆网卡或HBA(FC、iSCSI和SAS)卡接入。ZXCLOUD KS3200可以配备高性能的SAS磁盘和大容量的SATA磁盘,单台设备即可满足两种不同的应用需求。

虽然集中云存储系统架构简单,但存在两个主要问题。

⑴ 性能瓶颈问题。数据的基本特性要求任何时候对用户数据的访问,需要同步地修改元数据,由于每次I/O访问都需要首先访问数据服务器,随着系统规模不断扩大,需要管理的存储节点、文件数量、I/O操作数量等都会急剧增加,而对元数据进行管理的物理服务器性能有限,从而形成性能瓶颈。

⑵ 数据服务器单点故障问题。在集中元数据云存储系统中,整个系统的性能和可靠性完全依赖于数据服务器,一旦数据服务器故障,系统将无法提供任何服务。为解决这一问题,通常对数据服务器采用备份机形成HA解决方案来提供更高的系统可用性,主用服务器和备用服务器之间的元数据必须随时同步,否则一旦主用服务器故障,则可能导致数据不一致问题[4]。

3 ZTE分布式存储架构分析

ZTE分布式存储架构的主要思想是:生产中心和灾备中心各部署一套ZXCLOUD KS3200存储系统,利用远程复制功能、卷迁移、NDMP复制等多种手段实现基于WAN网络的数据复制。若数据中心的设备硬件上发生故障,灾备中心的ZXCLOUD KS3200可以直接升级成为在线设备,支持业务系统正常运行。在线系统恢复正常后,可通过反向数据复制,把災备中心的数据恢复到生产中心中[5]。ZTE分布式存储解决方案的组网如图3所示。

采用多台数据服务器形成集群工作的方式提供元数据访问服务,集群中的每一台设备都可以提供元数据访问,从而提高整体访问性能,并且解决了数据服务器单点故障问题。

4 结束语

近年来,教育部与中兴通讯开展合作,中兴在全国诸多高校建立基于云计算的数据处理中心。本文主要探讨了中兴在部分高校部署云存储的两种架构。对于企事业单位而言,需要根据自己的应用、服务、数据等建立相应的云存储架构,管理人员需要将现有的存储资源、存储技术和存储虚拟化相关联,找到适合自己的存储策略才是最为重要的,从而更好的利用资源、节约成本、简化存储管理。

参考文献(References):

[1] 张继平编著.云存储解析[M].人民邮电出版社,2013.

[2] 刘洋编著.云存储技术——分析与实践[M].经济管理出版社,2017.

[3] (美)Greg Schulz著.云和虚拟数据存储网络[M].国防工业版社,2017.

[4](美)Tom White著.Hadoop权威指南:大数据的存储与分析(第4版)[M].清华大学出版社,2017.

[5] 胡世杰著.分布式对象存储[M].人民邮电出版社,2017.

猜你喜欢

云存储集中式分布式
组串式、集中式逆变器的评估选定浅析
基于云存储的气象数字化图像档案存储研究
云存储技术的起源与发展
基于云存储的数据库密文检索研究
浅析龙岩烟草业务数据与监控数据中的云存储与大数据
接触网隔离开关集中式控制方案研究
基于DDS的分布式三维协同仿真研究
西门子 分布式I/O Simatic ET 200AL