张雪坚，张　榆，钏　涛，吕　垚，向华伟

(云南电网有限责任公司 信息中心，云南 昆明 650217)

经过多年的信息化建设，云南电网信息中心已建成并运行着上百个信息系统。其中，ITSM、IT集中运行监控、ZABBIX等系统负责各类信息系统稳定运行所依赖的硬件环境进行监控[1]。然而，目前各监控系统所产生的海量监控数据分别存储在各自的专有数据库中，数据共享难度大。无法对海量数据进行有效存储、处理及分析；无法提供大数据环境下全方位、全类型的数据存储及处理服务。无法为数据资产深度分析挖掘提供有效的数据支撑[2]。为解决以上问题，本文讨论了基于大数据技术的运维数据管理系统的建设方法，以充分发挥大数据技术在数据存储、并行计算、大规模数据分析挖掘等方面的优势。

1　IT运维数据管理系统模型

1.1　数据现状

IT运维数据分散在IT运维管控平台、IT集中运行监控系统、ZABBIX系统中，如表1所示。

表1　数据现状

1.2　总体架构

根据对云南电网信息中心各类监控系统及监控数据的调研分析，设计了基于大数据技术的IT运维数据管理系统总体架构，包括数据集成、数据存储、数据计算、数据访问4个层次。IT运维数据管理系统总体架构，如图1所示。

图1　IT运维数据管理系统逻辑架构

(1)数据集成层。该层主要实现了从IT运维管控平台、IT集中运行监控系统、ZABBIX系统中抽取结构化非实时数据、结构化实时数据、非结构化数据，并完成数据清洗、校验和处理功能[3]；

(2)数据存储层。该层采用了分布式文件系统、列式数据库、分布式关系数据库等多种数据库。……