APP下载

基于天境系统的MICAPS4.0分布式数据环境对接开发

2020-11-08施佳驰刘丹枫陈青锋方昆

科学导报·学术 2020年82期

施佳驰 刘丹枫 陈青锋 方昆

【摘  要】随着信息化不断发展,信息化业务及数据呈现暴增趋势。在气象行业信息化前沿,支撑业务运行的基础设施资源规模和数量也越来越庞大,出现故障的概率也越来越高,给监控和运维管理带来严峻挑战。为解决上述问题,天镜系统应运而生,通过实时掌握业务系统运行状况,对硬件、软件及相关应用进程状态进行监视,同时根据阈值实现实时告警,从而方便运维人员进行集中监控。MICAPS4是气象部门气象卫星、天气雷达和数值预报、站点实况等产品综合应用最强有力的业务技术支撑平台,是气象预报最主要的预报业务系统。基于天境系统进行MICAPS4.0分布式數据环境(以下简称数据环境)对接开发,实现对数据环境全方位的主机监控,包括对数据环境软硬件的实时监视、状态查询、前台展示、异常告警。此外,对数据环境的资料到达情况进行统计,对湖南全省各直属单位、市州县MICAPS4客户端对数据环境的访问情况、Cassandra集群访问负载分布情况进行监测与分析。

【关键词】MICAPS4;数据环境;主机监控;天境系统

1  平台简介

1.1  天镜系统简介

天镜,即气象综合业务实时监控系统。它如同一面镜子,映照出气象业务全流程中信息的“流动”、系统的运行、网络安全动态……在这面镜子的帮助下,气象业务系统的运行维护实现了一体化运行,管理现代化和信息化水平得以大幅提升。湖南省“天镜”系统,通过应用云计算、大数据、分布式数据库以及人工智能等多种新的IT技术,以数字化的形式实时反映了业务系统的运行现状、快速诊断出数据流程中的问题,极大的提高全省实时业务的保障能力。

1.2  MICAPS4分布式数据环境简介

MICAPS4分布式数据环境能提升高分辨资料的应用效率,实现对确定性模式资料与集合预报进行深度应用,从而为精细化预报业务提供了平台支撑。其采用先进IT、预报技术与气象业务发展结合,实现了预报数据环境与省级数据中心的全面融合,为预报员提供了功能完整的客户端预报平台。

MICAPS4分布式数据环境的优势是能与湖南省级数据中心无缝衔接,海量气象数据到达数据环境DPC服务器即可实现解码处理,数据环境Cassandra服务器能提供高速缓存服务,实现高并发、高速访问能力,实时数据到达即可见。

2  系统对接开发

2.1  系统组成

对接开发系统由监控数据采集程序、MySQL数据库、桌面应用程序、钉钉机器人告警模块、天镜系统对接模块等部分组成。首先在服务器上部署监控数据采集程序,将采集到的监控数据写入到MySQL数据库,客户端再从数据库中读取数据进行数据统计与展示,当监控信息超过设定的阈值时由钉钉机器人告警模块将告警信息及时通知数据环境的核心运维人员,并将MySQL中的监控数据与天镜系统本地化应用服务进行数据对接。

2.2  监控数据采集

监控数据采集程序主要通过SSH方式获取主机(服务器)CPU、磁盘、内存、文件系统、进程、网络等的运行状态。监控数据采集程序采用Python编程语言进行程序设计,采用轻量级定时任务调度库schedule进行任务调度,采用paramiko、ftplib模块使用ssh、ftp等方式获取业务监控实时数据。

2.3  MySQL数据库

监控数据采集程序将采集到的监控数据通过pymysql模块写入到先行建立的关系型数据库MySQL中,为桌面应用程序与天镜系统本地化应用程序提供数据服务。

2.4  桌面应用程序

桌面应用程序采用Qt、C++进行程序开发,使用QSS、QML对桌面应用进行界面美化,使用QtCharts图表库将采集到的业务监控数据、全省MICAPS4.0的终端用户访问情况进行数据统计、分析与展示。

2.5  告警提示模块

告警提示模块采用webhook技术的钉钉机器人将监控系统的运行状况及时通知业务系统核心运维人员。当监控数据超过事先所设阈值时,产生告警信息及时通知数据环境核心运维人员。告警模块首先通过获取群组中钉钉机器人的Webhook地址,然后向这个地址发起HTTP、POST 请求,实现向给该群组发送即时告警信息。

2.6  天镜系统对接模块

MySQL数据库中的监控数据与天镜系统本地化应用服务进行全面对接,前端采取Vue,后端采用SpringBoot、Spring MVC、Spring、Mybatis等技术栈,开发完成后在天镜系统OMP运维管理控制台的模块仓库模块中上传相应模块,从而实现与天镜系统的数据对接。

3  小结

本文通过对基于天境系统的MICAPS4.0分布式数据环境进行对接开发,实现了在天境系统中对数据环境核心业务基层监控功能与对省市县三级用户MICAPS4客户端使用情况的实时分析,提升了数据环境的运维保障能力,从而更好地保障气象预报工作的开展,为基层递进式气象服务和气象数据的高效流转处理保驾护航。

作者简介:

施佳驰(1990-),男,江苏省丹阳市,硕士研究生,工程师,研究方向:网络与系统管理。

基金项目:

湖南省气象局 2020 年短平快项目(课题编号:XQKJ20B039)(基于天境系统的MICAPS4.0分布式数据环境监控与全省终端用户分析)。