李柳音

【摘要】在当前这个信息化社会中，社会生产环节中的信息系统发挥着越来越大的作用，并在相关技术不断发展的影响之下，信息系统的整体架构逐步向着云化及分布式的方向不断发展，在这一情形下，运维系统怎样通过服务的主动化在提升运维效率的基础上提升客户感知能力就成为了一个急需解决的问题。本文围绕着大数据技术下的智能运维系统设计及应用展开了相应的研究。

【关键词】大数据;智能运维系统;设计

中图分类号：TN923                文献标识码：A               文章编号：1673-0348（2020）010-050-03

[Abstract] In the current information society， the information system in the social production sector plays an increasingly important role， and under the influence of the continuous development of related technology， the overall architecture of the information system is gradually developing in the direction of cloudand and distributed， in this case， how to improve customer perception ability through the initiative of service on the basis of improving operational efficiency has become an urgent problem to be solved. This paper focuses on the design and application of intelligent operation and maintenance system under big data technology. 

[Keywords] Big Data; Intelligent Operations and Maintenance Systems; Design

以大数据和云计算技术作为基础的智能化运维系统，可以很好的解决传统性质下的基于及人等待暴露问题的IT运维服务的方式，全新的大数据智能运维系统可以通过全面实时的网络监控及大数据分析能力，确保在最快发现问题的同时发出系统警报并做出合理化的调整，做到及时有效规避各类风险。

1. 大數据智能运维系统的技术原理分析

较之传统的运维系统，大数据智能运维系统在数据的搜集量、处理速度、业务覆盖范围等方面取得了重大发展进步，大数据运维系统的出现，推动了运维系统从之前的自动化发展到智能化，应用的根本目标就是在降低运维成本的同时为客户提供更高水平的服务质量及服务体验。就目前的情况看来，云计算平台的实际成本投入主要包括网络宽带、服务器以及维护工作人力等方面。在全面分析运维大数据的基础上，实现自动化预测及管理硬件故障问题，使得在其管理工作方面的投入趋近于零。通过其中智能混部技术的有效应用，可以做到针对不同类别的任务实施动态化感知、合理计算分配内存以及全局调度等工作，也就是通过资源利用程度的最大化，最小化预算的具体开销。

大数据运维系统以大数据技术作为其技术基础，在全面定义好各项运维工作指标的基础上，做到以较高的工作频率来密切监视系统每部每一台服务器的运行数据，并在运行日志统一化收集之后，借助各种类型非关系数据库保存其中多多样化的各项数据。在此之后，将收集存储的各项数据集体写入到Hadoop数据集群中，借助大数据技术针对这些收集来的数据做出多维度的数据离线分析，并生成与之相对应的曲线图，并与之前设定好的指标数据做出对比，通过关联监控报警系统，实现实时监测数据中心性能和可用性的目标，并做出发展趋势分析。借助以历史数据和算法作为基础的预测模型应用，合理的预测出服务器的未来运行状况及问题，以此为运维人员做出系统的提前迁移及硬件资源的调整提供数据信息支持。

2. 当前信息系统运维面对的挑战分析

当前的信息运维主要面临着来自云计算技术发展带来的挑战，云计算技术发展中出现的能力分散、管理集中的方式使得信息系统的整体架构及运营模式出现了革命性转变。而作为核心的虚拟技术对于传统运维系统运行带来了极大的挑战，主要是各类基础设施及通用性质的软硬件平台的增添，致使传统的监控及数据分析方式无法满足运维系统正常运转的要求。具体来说，主要存在着如下两方面的问题：

第一，监控防护的被动化。传统意义上的监控流程可以总结为问题的发生—问题位置发现—告知运维人员—运维人员解决问题的这样一个流程。换言之，只要出现了警报，就说明了问题已经发生，需要开展事后控制及管理工作。在这种监控方式下，对于运维人员专业素质的要求相对较高。主要是因为在问题已经发生的情况下，如果无法做到及时止损，将会带来十分严重的后果。

第二，传统运维手段和大数据环境之间的冲突。大数据环境下的数据特征之一就是指数式增长，继续使用传统性质的运维手段在海量的数据面前很容易出现工作死角，导致无法保障运维工作的最终效果。与此同时，传统的运维手段缺失面向管理人员及业务人员的多维度分析运维系统工作数据的工具，导致运维人员无法有效针对的大量运维数据有效开展运维工作。

3. 大数据智能运维系统功能设计分析

3.1 智能警告

大数据智能运维系统中的智能警告功能，就是以被监控对象的历史数据及其走势作为基础，在应用统计学原理的基础上，借助大数据技术的分析功能，最终判断出被监控对象性能数据的平稳与否，并且还可以做到判断被监控对象业务形态差异以及不同时间范围的具体表现，最终生成一个跟随业务以及时间点变化的动态化阈值，借助这一动态阈值的帮助，建立一个较为健壮性能检测机制，使得警告检测得以从之前的固定值形式转为一个随着时间及业务变化做出自适应反应的动态数值，如此一来。出现无效警告问题的概率就大幅度降低，进而帮助用户精准化的感知系统中的性能异常情况。

3.2 分析预测智能化

分析预测的智能化功能，以服务器内部的SMATR信息、syslog信息等各种类型的信息作为基础，同时使用监督及多示例实习等方式，并借助LR或者是GBDT模型将场景特征引入其中，以此来实现针对服务器内部使用频率较高的部件发生故障的概率及故障出现的时间点做出合理的预测，通过实现感知故障的发生概率以及故障出现的时间点，并采取相应的措施达到防患于未然的目标，极大的提升了整体IT架构的可用性。其中智能化容量预测从产品标准及定制开发的方式出发，提供了一种基于动态化基线及阈值下的趋势分析及瓶颈点预测的功能，主要就是针对IT系统的容量预测这一功能。除此之外，其中的智能化流量预测通过使用定制开发的方法，提供了一种针对多数据中心及多冗余链路的网络流量预测技术，得出的预测数据可以为流量数据的调度决策提供相应的依据。

3.3 根因定位智能化

这一功能从其本质上来看，就是一个系统故障根源的定位功能，以专家知识库作为功能基础，用于定位复杂IT场景下的故障根源。同时，还可以提供以故障根源作为基础的计算故障影响范围及自动化处理故障等功能。

3.4 能耗智能化管理

在能耗的智能化管理功能中，在全面采集服务器运行能耗数据的基础上，从集群及业务两大角度出发，在对比分析服务器功耗历史数据及实时采集数据的同时结合上云平台的业务调度机制，使用power capping或者是power saving等技术，达成优化整体业务系统功耗的目标，从而在保障系统稳定运行的基础上，最小化其功耗。

4. 大数据智能运维系统的技术架构分析

4.1 采集器模块

从整体层面上来看，大数据智能运维系统主要包括了采集器、数据的存储、大数据技术的分析及数据展示这四大逻辑性不同的主要模块，这四个模块代表了数据的从采集到最终展示的不同阶段。其中的采集器模块十分有效的达成了分布式采集的目标，全面实现了数据动态化分布采集的相关任务，保障了基础数据资源采集工作高效率，诸如主机、虚拟机、存储以及网络等部分的数据都可以做到的技术获取。采集器模块内部的全部节点都是处于同一地位上的，只是执行的采集任务有所差异，一旦其中的某一个采集节点停止正常运行，控制中心就会在第一时间做出监测及确认，随后将本模块负责的数据采集业务分配给其他采集器节点，借此来保障数据采集的连续及完整性。

4.2 数据存储模块

在数据存储模块中，具体包括了如下两大数据库板块：结构化的MySQL数据库以及非结构化的MongoDB数据库。其中结构化的MySQL数据库主要是用于儲存系统内部的配置信息和与数据中心基础设施有关的基本信息。此类信息的共同特点就是数据总量并不庞大，并且数据结构具备较强的稳定性，即便是出现变动，范围及幅度相对较小。非结构化的MongoDB数据库主要是用于存储全部基础设施运行过程中产生的所有运行数据及日志信息。这一类数据信息具备着较强的实时性及较高的更新频率，并且数据结构缺乏。通过在数据存储模块中同时使用结构化及非结构化的数据库，实现储存系统内全部类型数据的目标。

4.3 数据分析模块

数据分析是整个大数据智能运维系统中的核心模块部分，主要的功能就是实时分析收集来的全部数据类型，该模块是以Hadoop+Spark结构作为基础，Hadoop提供了数据分析所需的调度相关任务及存储分布式文件的功能，Spark则是将数据在置于内存的前提下实现Mapreduce的计算。Hadoop+Spark结构的使用可以大幅度的提升相关数据的处理效率，真正意义上满足了实时分析系统日志的有关需求，并且产生的各类数据也都可以以最快的速度储存到数据库内部，可以极大的降低重复计算问题的发生概率。

4.4 展示模块

展示模块就是在使用图表工具的基础上，针对收集而来的系统监控、大数据及其他渠道的信息做出图形化的处理，从而将这些原本不可见的抽象运维数据转变为一个直观的数据图表形式，并且可以从不同的基础资源出发，借助图表展示其运行状况和对应结果，将之直接呈现给操作及技术人员，同时也可以为其工作的有效落实提供相应的基础。

5. 总结

在当前这个人工智能、大数据、云计算技术快速发展的时代大背景下，智能运维系统的建立已经成为一种无法阻挡的发展潮流，这些高新技术的应用为各类业务的运行提供了极大的便利，同时也为智能运维系统的建立、应用及发展提供了深厚的技术基础，同时也为解决传统运维中存在的监控防护的被动化以及技术手段滞后等问题提供了全新的思路。通过其中采集器、数据存储、分析数据以及的展示模块的良好建设，就可以实现运维系统中的智能警告、分析预测智能化、根因定位智能化、能耗智能化管理等功能，借此保障运维系统的智能化发展及其作用发挥。

参考文献：

[1]曹建军.基于大数据的云计算中心智能运维系统的研究[J].计算机产品与流通，2019（07）：150.

[2]林刚.基于大数据云计算的铁路智能运维系统技术研究[J].铁道通信信号，2019，55（05）：37-41.

[3]谭敏，谭家兴.基于大数据日志的智能运维系统设计[J].长江工程职业技术学院学报，2019，36（01）：10-12.

[4]张飞.基于大数据的配电自动化终端智能运维管理系统[J].现代工业经济和信息化，2018，8（15）：72-73.

[5]李刚. 基于大数据及云计算的电务综合运维技术研究[D].中国铁道科学研究院，2018.

[6]罗砚.基于大数据的信息系统运维智能化研究[J].邮电设计技术，2018（03）：79-82.