基于Mycat 的分布式技术在收集与分发系统中的应用
2021-04-18陈旭辉
气象研究与应用 2021年1期
关键词:数据库
刘 洋,高 鹏,徐 娟,陈旭辉
(甘肃省气象信息与技术装备保障中心,甘肃 兰州 730020)
引言
随着科技的进步,气象数据的种类和数量在不断上升,由原来单一的、小规格的数据累积成了海量数据[1]。数据量的急剧增长会导致单机的存储能力严重不足,特别是在汛期,高频率的查询使单机的处理能力和响应性能严重的下降,数据不能实时入库,给用户的使用带来极大的不便,同时给数据库的管理者带来了很大的负担,而分布式数据库[2-3]是在集中式数据库基础上发展而来的,其最显著的特点就是数据分布在地理位置不同的机器上,但是所有的数据在逻辑上是集中管理的,分布式数据库的出现克服了传统集中式数据库的许多缺点,成为大数据处理和存储的方案之一[4-6],分布式数据库已被广泛的应用到各行各业[7-9]。目前,气象业务中的收集与分发系统所采用的Mysql 数据库是单机版的,高并发的数据量会导致单机的存储能力和响应性能严重下降,极大的削弱了系统的服务能力。
针对现有数据库存在的问题,本文提出了基于Mycat 的分布式数据库集群架构,利用分布式存储中间件Mycat 对数据进行了读写分离,从而极大的提高了数据库的读写性能以及可扩展性;利用Haproxy[10-11]实现了Mycat 的高可用性;同时使用keepalived[12]实现了Haproxy 的高可用,解决了传统的集中式数据库单点故障的问题,保障了气象数据传输的稳定性和有效性。
1 基于Mycat 分布式数据库的设计
采用Mycat+Mysql+Haproxy+Keepalived 的技术架构来构建关系型分布式集群系统,其整体架构如图1 所示。……
登录APP查看全文
