APP下载

省级气象业务资源池的构建与运行

2022-02-20施蔚然

无线互联科技 2022年24期
关键词:内存虚拟化利用率

施蔚然,颜 东

(福建省气象信息中心,福建 福州 350001)

0 引言

随着省级天气监测、预报预警和气象服务等气象业务的快速发展,各类气象业务系统和信息系统数量急剧增加,气象相关数据增长明显加速,省级各类气象数据总量达到PB级;传统分级、分散的气象信息业务在布局、规模、架构和技术上都难以适应需求发展,迫切需要建立集约、高效的业务资源池,满足气象业务可持续发展的需求。全省应用于各类天气预报与气象服务领域的业务系统有基于B/S和C/S架构,支撑的数据库主要有(ORACLE、Sql、Mysql);操作系统主要有Windows2012R2和Linux(SUSE,Redhat、Centos)等。福建省多数业务系统属于通用业务类,这些业务负载资源占用率不高,单机运行资源利用率较低,适合使用虚拟化环境池化部署。根据服务水平需求和负载情况分配相应资源,并通过资源池内部高可用性来保障业务的连续性,实现IT资源利用效率最大化[1-2]。同时,依托业务资源池统一管理和运维监测,实现资源共享复用,并可在线按需动态扩充,弹性分配和可视化管理,保障气象业务的稳定运行。

1 资源池构建

根据《气象信息化发展规划》及《气象部门业务资源池建设指南》(技术规范)的要求,结合我省气象现代化业务发展的需求,福建省逐步开展集约化业务资源池建设,构建可靠、弹性、安全的基础架构平台,统一管理,实现业务系统向业务资源池迁移,对省级核心业务系统和市县级预报综合业务平台的数据支撑。

1.1 资源池系统架构

根据福建省气象业务需求,实时气象业务系统主要以数据密集型为主,因此业务资源池选用在内存、存储和网络方面具有良好扩展性的X86架构服务器和具有高性能、低延时的FC SAN。同时,为了满足文件共享和数据备份存储等非结构化数据存储的需求,选用具有很好横向扩展能力的NAS存储,作为分布式海量数据存储。数据网络采用核心层和接入层的2层扁平化网络架构,提高网络对服务器流量的支撑,简化网络拓扑,减少网络的故障收敛时间。物理服务器上安装虚拟化软件通过光纤交换机共享磁盘阵列搭建硬件环境,再通过集群软件和虚拟化软件,实现资源虚拟化[3-4]。根据不同业务应用场景,搭配出性能满足业务需求的运行环境,实现资源共享复用,并可在线按需动态扩充,弹性分配资源,为应用系统提供业务和存储资源服务。省级气象业务资源池拓扑如图1所示。

1.2 资源分配

到2020年年底,省级已建设资源池主机的CPU核数大于3 000,FCSAN存储容量大于400 TB,分布式存储NAS容量大于2 PB。对于业务密集型和I/O密集型的数据处理及实时中小型数据库等,存储和内存配置相对较高;对于网络I/O密集型的WEB服务器、通信服务器等,网络和内存配置相对较高。根据业务需求和负载情况分配相应资源,搭配出性能和可靠性满足需求的虚机约200台,存储系统配置SSD固态硬盘,大大提高系统的I/O访问效率。

1.3 虚拟化技术

虚拟化资源池主要由X86服务器、磁盘阵列及分布式存储构成,是指将物理服务器资源(CPU、内存、磁盘、I/O等硬件)抽象成逻辑资源,封装成相互隔离、可调度、可度量的逻辑资源实体单元,让一台物理服务器变成多台虚拟服务器(Virtual Machine,VM),实现资源的热添加、业务级高可用性、容错保护机制、计算资源的超额分配、动态资源管理等功能。从而实现硬件资源的池化,构建资源池,提高资源的利用率,简化系统管理,实现服务器整合。主要产品有VmWare-ESXi、Hyper-V、KVM等,目前业界主流技术、在生产环境中大规模应用的虚拟化环境采用基于OpenStack架构(底层虚拟化核心采用KVM,并兼容适配ESXI、XEN等众多虚拟化技术)的整套虚拟化软件进行搭建[4]。

2 资源池运行监测

图1 省级气象业务资源池拓扑

随着资源池的建设,集群内主机、虚机的业务和存储资源逐步增加,通过Web方式实时将主机、虚机和存储的运行情况以图表的形式集中展示,便于用户和管理员及时了解和掌握资源池的系统性能、运行状况和告警信息,合理分配业务和存储资源,弹性调整或增加系统资源提供科学依据。

2.1 监测信息采集

资源池实时监测信息采集的数据包括系统配置信息、性能和告警信息等。通过资源池数据库或SNMP获取主机和虚机CPU及内存使用率;数据库软件表空间使用率;存储设备容量使用率及磁盘I/O速率;网络设备告警信息等。资源池监测信息采集如图2所示。

图2 资源池监测信息采集示意

资源池的数据库主要采集的数据表及数据视图,涉及的主要表项:

数据表:Vpx_AlarmRuntime,采集系统运行告警信息;

数据视图:Vpxv_Alarms,采集系统运行告警信息;Vpxv_DataStore,存储信息;Vpxv_Entity,实体定义信息;Vpxv_Hosts,实体机信息;Vpxv_Vms,虚拟机信息;

Vpxv_StatusTransport,采集表VPXV_HIST_STAT_DAILY并转换后存储于本地数据库,主要是实体机CPU、内存、网络、硬盘、历史信息等。

通过SNMP获取:分布式存储NAS的给定MIB库采集以及相关网络节点信息。

2.2 资源池性能展示

收集资源池的各类性能数据,展示资源池中物理主机和虚机数目、开关机状态;对资源使用情况进行统计、分析,包括主机、虚机、网络资源等信息,依据CPU、内存等资源利用率对虚机的运行状况进行排名,快速发现资源占用最多的主机、虚机,帮助系统管理员了解资源使用情况,为合理分配、业务扩容、调整优化资源提供量化数据支持。

2.2.1 物理主机性能监控

在虚拟化环境中,多台虚机共享同一台物理主机资源,物理主机故障会影响在该主机上运行的所有虚拟机。通过仪表盘形式展示物理主机的CPU、内存、网络、存储等资源的容量及其利用率等指标,并提供详细报表,管理员可利用监控数据,弹性调整物理主机的负载,让物理主机的资源负载均衡,同时检测主机的资源可用性,提前防范资源使用风险。

2.2.2 虚拟机性能监控

对虚机的CPU、内存、网络、磁盘I/O、IOPS、I/O延时和分区利用率等多项关键指标的监控,通过持续监控虚机负载,发现资源利用率较低的虚拟机以及资源利用率持续较高的虚拟机,弹性调整分配虚机资源,保障应用系统的流畅运行,提高资源利用率。资源池虚机使用情况,如图3所示。

2.3 资源池拓扑展示

图3 虚机资源使用情况

以业务资源、网络资源、存储资源为中心,展示虚拟化后的资源池拓扑结构,多层次展示物理主机、存储、虚拟交换机、虚拟机之间的内部逻辑关系,实现资源在虚拟化环境下的可视化管理。各类资源的性能数据及告警信息直观地在拓扑展示,包括物理主机、虚拟机的主机信息、运行状态、资源使用情况,告警等信息,帮助管理员快速了解资源池拓扑及告警情况[5]。

2.4 资源池告警

资源池告警信息主要有:总体运行状况、集群资源利用率、主机资源利用率、虚拟机资源利用率、网络连通性、存储连通性告警等。系统管理员通过对各类告警信息的统计、分析,发现系统运行存在的风险,及时进行故障处理,保障资源池各应用系统的安全、可靠运行[6]。

3 结语

通过省级集约化业务资源池建设,构建集约共享、弹性动态、高效可靠的气象业务。通过统一管理平台,实时了解和掌握资源池运行状态和应用趋势,提高了系统维护效率;按需进行资源动态调配和弹性伸缩,有效解决通用业务类服务器资源占用率不高、单机运行利用率较低的问题;有效提升服务器的资源使用率,实现IT资源利用效率最大化,降低数据中心的总体拥有成本;实现应用业务系统的快速部署,业务系统的平均维护时间大幅下降,降低运行维护成本;通过资源池内部高可用性保障了业务应用的连续性,提高了系统的可用率;为我省气象防灾减灾业务系统提供更优质的集约化业务资源服务,进一步推进福建省气象部门的信息化建设。

猜你喜欢

内存虚拟化利用率
外部高速缓存与非易失内存结合的混合内存体系结构特性评测
2019年全国煤炭开采和洗选业产能利用率为70.6%
“春夏秋冬”的内存
基于OpenStack虚拟化网络管理平台的设计与实现
化肥利用率稳步增长
对基于Docker的虚拟化技术的几点探讨
浅议如何提高涉烟信息的利用率
虚拟化技术在计算机技术创造中的应用
板材利用率提高之研究
存储虚拟化还有优势吗?