张朝阳

（中国通信建设集团设计院有限公司第四分公司，郑州 450000）

随着科学技术的发展，信息安全显得尤为重要。一般的信息安全系统采用日志存储的方式进行分析，留存数据，占用空间大，存储量大不利于系统运行。将大数据技术运用到信息安全系统中，有利于数据分析，提高管理数据的效率，实现对数据的快速访问。

1 大数据关键技术

大数据处理中“云计算”具有非常重要的地位，云计算一般分为三个层次，IaaS、PaaS、SaaS，也就是基础设施即服务，平台即服务，软件即服务。各个行业巨头都采用云计算服务，可以说大数据技术的基础平台就是云计算，这样可以快速处理数据信息。

1.1 MapReduce

在数据挖掘、人工智能、数据分析等领域都运用大数据中的MapReduce技术。MapReduce技术是分布式并行处理技术，其主要思想是将自动分割要执行的问题拆分成map（映射）和reduce（化简）的方式，Map、reduce是该系统中非常重要的两个部分，MapReduce技术的思想就是分而治之，也就是需要将采集的数据进行分割数据源，然后每部分内容建立对应值，在不同map区进行处理，过程中将会具有相同值的集合发送给Reduce。数据被分割后通过Map函数的程序将数据映射成不同的区块，分配给计算机集群中不同的处理节点并行处理，从而达到分布式运算的效果。该技术可以并行处理数据，是大数据处理的关键技术。

1.2 HDFS

HDFS是HadoopFileSystem的简称，即分布式文件系统。HDFS是大数据处理的平台，通过将多台服务器池化，形成集群形式，统一处理海量数据。

2 数据处理

通过信息安全系统将数据上传到HDFS，将数据采集、数据入HDFS、数据清洗（Spark、Hive）、数据分析、分析结果。利用大数据平台的技术进行处理分析信息安全传输的数据。

（1）数据入HDFS

数据收集后，进入HDFS系统。

（2）数据清洗

清洗数据，将数据整理成统一格式，方便管理。根据实际数据的时间戳（文件中的时间戳字段），将数据按机房、日、小时、5分钟粒度分区，保存到相应的HDFS目录。采用Spark+Hive框架。

（3）数据分析

以Spark作为计算框架，分析数据。通过对活跃资源统计，按小时和日生成活跃资源的数据，使用Spark读取清洗后的文件统计分析。

3 信息安全系统

信息安全系统分为数据采集及数据分析两个模块。如图1所示：

图1 信息安全系统结构

数据采集是将IDC数据分流经过采集服务器，对分流过程中的数据进行过滤保存。经过链路传输到大数据分析平台，利用HDFS平台对数据日志进行大数据处理，留存时间长达半年。通过运用大数据技术，主要解决以下问题：第一、解决信息安全系统数据存储问题，例如用户信息，日志，地址信息等海量数据。通过大数据结束能够有效解决和处理数据存储问题。建立虚拟存储结构，定期优化冗余资源。第二、提供大数据级别算法处理，提供机器学习，数据挖掘等技术解决问题。

4 结束语

随着信息安全系统的更新迭代，大数据技术的发展，越来越多的新技术会运用到信息安全系统中。信息安全存储形式的变化，数据处理方式的改进都是未来的方向。信息安全系统对社会的发展起着重要作用，当今社会越来越注重安全保护及隐私问题，运用大数据技术，实现安全服务。