杨飞,朱志祥,梁小江(西安邮电大学,西安 7006)(陕西省信息化工程研究院,西安 7006)



基于Ceph对象存储集群的负载均衡设计与实现①

杨飞1,朱志祥2,梁小江2
1(西安邮电大学,西安 710061)
2(陕西省信息化工程研究院,西安 710061)

摘 要:海量并行数据访问ceph对象存储集群时,会出现访问数据错误率增加和访问速率降低的问题.首先设计和部署ceph对象存储集群,根据用户请求数设计对象网关节点,实现用户数据的交互功能,然后在服务节点安装和部署haproxy,实现服务节点的负载均衡功能,能够降低服务节点的压力,最后设计和实现四种基于ceph对象网关节点的存储集群.通过大量对比测试,本设计方案的数据访问错误率降低0.96%,用户数据的访问速率提升74.04%.

关键词:Ceph; 对象网关; 负载均衡; 错误率; 访问速率

1　引言

随着云计算与大数据的不断发展,对于网络数据的存储和处理能力提出新的要求,当前的数据存储系统已无法满足海量增长的网络数据[1].Ceph分布式文件系统集群能够根据海量数据的增长而进行集群扩展,有效降低服务器并行访问的压力,提高数据访问的速率,降低数据访问的错误率[2].

本文以ceph分布式文件系统为研究对象,首先设计部署ceph存储集群[3],结合mysql与keystone实现ceph对象网关节点的统一认证.然后设计ceph对象存储集群的对外网关功能,实现服务器与ceph对象存储集群的数据交互,能够根据访问服务器用户量的增长,而扩展ceph对象存储集群的对外网关节点,实现ceph对象存储集群的多区域数据管理,通过负载均衡降低服务器并行数据的压力,从而提升服务器并行数据访问速率,同时能够降低用户访问数据的错误率[4].

2　整体设计框架

2.1设计部署

本设计方案中包括11个节点服务器: east、west、south、north为ceph对象存储集群的对外网关节点,通过haproxy负载均衡节点对east、west、south、north四个对象网关节点进行负载均衡,node1、node2、node3、node4是ceph对象存储集群的存储和元数据节点,而deploy节点为ceph集群部署节点,DNS节点为ceph对象存储集群的统一认证中心,haproxy节点为负载均衡节点,采用轮询的方式减轻用户访问对象网关节点的压力.表1为设计部署说明表.

表1　设计部署说明表

2.2设计框架

并行用户数据通过ceph对象存储集群的haproxy节点将海量并行数据轮询分发到east、west、south、north四个ceph对象网关节点,实现并行数据的负载均衡[5].在四个对象网关节点中设计和部署mysql和keystone实现ceph对象存储集群的统一认证[6].用户可以对ceph对象存储集群进行数据操作和管理.图1为整体设计框架.

图1　整体设计框架

在east、west、south、north对象网关节点通过统一认证后,在haproxy节点通过负载均衡降低服务器并行数据的压力,从而有效地提升服务器并行数据访问速率,同时能够降低用户访问数据的错误率.

3　统一认证和负载均衡

3.1统一认证

首先在DNS、east、west、south、north节点上面安装配置mysql.修改mysql配置文件,允许客户端的访问mysql数据库,然后在mysql中创建keystone数据库,安装配置keystone,对keystone进行初始化,并重启mysql和keystone的服务.

修改每个对象网关节点的ceph.conf配置文件,添加keystorgw_keystone_url = 10.10.10.61:5000 .这样对象网关节点可以使用DNS节点产生的统一token,实现了所有对象网关节点的统一认证.

首先在haproxy节点启动负载均衡的服务,然后在DNS节点产生所有对象网关节点的统一认证的token.

在DNS节点输入命令:DNScurl -d '{"auth": {"tenantName": "admin","passwordCredentials":{"uS ername": "admin","password":"hastexo"}}}' –H "Con tent -type:application/json" http://10.10.10.61:5000/v2 .0/tokens | Python –mjson.tool

在east、west、south、north对象网关节点使用命令进行统一认证:

3.2负载均衡

在haproxy节点设置和部署ceph对象存储集群的负载均衡服务.配置和修改haproxy.cfg文件:

负载均衡节点的IP:10.10.10.71,负载均衡服务端口为8888.监控界面的端口为8899,所有对象网关节点的操作都会通过10.10.10.71:8888进行均衡均衡.图2为负载均衡登陆界面[7].

图2　负载均衡登录界面

在ceph对象存储集群中,设计和部署四种不同的ceph对象存储架构图.在对象网关节点设计四种不同的负载均衡模式,分别为表2单个对象网关、表3两个对象网关、表4三个对象网关、表5四个对象网关.

表2　单个对象网关

表3　两个对象网关

表4　三个对象网关

表5　四个对象网关

在haproxy负载均衡节点上配置haproxy.cfg,然后启动haproxy的服务,在负载均衡监控界面可以对不同设置的对象网关节点进行监控.

4　应用与测试

4.1测试数据

本方案使用webbench并行测试软件对整个ceph对象存储集群进行压力测试[8],测试时间为120s,通过大量对比测试,能够得出海量并行数据访问服务器的失败率和数据速率.表6为单个对象网关测试数据、表7为两个对象网关测试数据、表8为三个对象网关测试数据、表9为四个对象网关测试数据.

表7　两个对象网关测试数据

表8　三个对象网关测试数据

表9　四个对象网关测试数据

4.2分析结果

对测试的数据结果进行分析和计算,从而清晰的得出负载均衡对整个ceph对象存储集群的性能优化情况,包括并行访问数据的速率和访问数据的错误率.图3为数据访问速率测试对比图,图4为数据错误率测试对比图.

图3　数据访问速率测试对比图

图4　数据错误率测试对比图

5　总结

设计和部署ceph存储集群,本设计方案能够根据用户的访问请求数,动态地设计和实现基于ceph对象存储集群的对象网关节点,从而不断适应网络数据的快速增长.同时在不同的对象网关节点采用统一的认证中心,确保用户数据的安全性和封闭性.

通过负载均衡和统一认证测试,本设计能够有效的降低海量并行数据访问服务器的压力,同时保证用户数据的安全性.并行访问速率提升74.04%,访问数据的错误率降低0.96%.

参考文献

1吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统.计算机研究与发展,2012,49.

2冯幼乐,朱六璋.CEPH动态元数据管理方法分析与改进.电子技术,2010,47(9).

3李翔,李青山,魏彬.Ceph分布式文件系统的究及性能测试.2014(5):1–15

4Weil SA,Brandt SA,Miller EL,et al.Ceph: A scalable,high-performance distributed file system.Proc.of the 7th Symposium on Operating Systems Design and Implementation (OSDI).2006.307–320.

5邹仁明,彭隽,李军.OpenStack开源云平台高可用架构的设计与实现.中国计算机用户协会网络应用分会2014年第十八届网络新技术与应用年会2014.

6Tang B,Sandhu R.Extending openStack access control with domain trust.Network and System Security.Springer International Publishing,2014: 54–69.

7Liu K.To achieve load-balance of elective system with haproxy.Computer Knowledge & Technology,2011.

8Yan CR,Shen JY,Peng QK,et al.A throughput-driven scheduling algorithm of differentiated service for web cluster.Wuhan University Journal of Natural Sciences,2006,11(1): 88–92.

Design and Implementation of Load Balancing Based on Ceph Object Storage Cluster

YANG Fei1,ZHU Zhi-Xiang2,LIANG Xiao-Jiang2
1(Xi’an University of Posts and Telecommunications,Xi’an 710061,China)2(Shaanxi Information Engineering Research Institute,Xi’an 710061,China)

Abstract:When mass parallel data access the ceph object storage cluster,the problems of increasing error rate and low access rate are existed.At the first,the authors design and deploy the ceph object storage cluster,and then design object gateway nodes to achieve interactive features of user data according to user requests.Second,I install and deploy haproxy on four service nodes,which can achieve the function of load balancing and reduce the pressure of four service nodes.Finally,the authors design and implementation of four different kinds of storage clusters based on ceph object gateway nodes.Through a lot of comparison tests,this design can not only reduce the error rate of 0.96 percent,but also enhance access rate of 74.04 percent.

Key words:ceph; object gateway; load balance; error rate; access rate

收稿时间:①2015-08-14;收到修改稿时间:2015-09-17