基于大数据平台的通信设备故障预警系统研究与实现

2015-01-01

网络安全技术与应用 2015年11期

0 引言

电力系统中已有的通信系统，信息运维综合监管系统（IMS）、综合数据网网管、信息运行管理系统（MAS）、北塔系统、安全准入系统、杀毒系统、通信管理系统（TMS）、视频监控系统等，这些系统对信息通信调度运行等业务的稳定运转发挥了重要作用，为电力通信网提供保障，但同时存在系统架构不统一和可扩展性差的缺陷，部分业务功能重叠、集成接口众多、各专业系统之间业务和数据融合度较低、维护成本较高等问题，导致系统的实用化程度还有待提高。

随着信息通信设备的监控种类逐渐增加、数据类型日益丰富和获取途径的逐步完备，公司信息通信设备所监控的数据量快速增长。数据种类多、数据量大、更新速度快，使得传统的数据分析方式遇到问题，因此与大数据技术结合成为必然的趋势。

1 关键技术

1.1 大数据技术

Hadoop是一个并行海量数据处理的云计算框架，是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。它可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，既可以自定义MapReduce算法，又支持开源项目Mahout当中的各种算法，而且可以和R语言结合的RHadoop也提供了大量的数据挖掘算法，是当今时代的主流。