◆佟 瑶

（辽东学院信息工程学院信息管理与信息系统系 辽宁 118000）

试论网络安全分析中大数据技术的应用

◆佟 瑶

（辽东学院信息工程学院信息管理与信息系统系 辽宁 118000）

网络安全分析工作直接影响数据储存、数据传输等任务的安全性和有效性。基于此，本文主要针对当前网络安全分析现状进行分析，对大数据技术在数据采集、数据查询、数据存储以及数据处理等网络安全分析工作中的应用进行细化分析，以期在丰富网络安全分析方面研究的同时，为大数据技术在网络安全分析中的实践应用提供可靠的理论参照依据。

网络安全；大数据技术；数据采集

0 前言

在互联网不断普及的背景中，网络安全分析工作产生了较为明显的变化。这种变化主要体现在以下几方面：第一，数据分析方法方面。互联网在人们日常工作、生活中得到了广泛的应用，因此，网络安全分析中的数据量、数据种类也产生了极大的变化。为了满足分析要求，需运用多维分析方法开展网络安全分析工作。第二，分析难度方面。从本质角度来讲，可以将网络安全分析看成是采集数据、处理数据的过程。当数据本身的传递速度及数据量发生变化时，网络安全分析中的数据采集速度、处理速度也需要随之变动。因此，当前网络分析的难度相对较高。

1 网络安全分析中大数据技术的应用

这里主要从以下几方面入手，对网络安全分析中大数据技术的应用进行分析和研究：

1.1 数据采集方面

网络安全分析的数据对象主要包含流量、日志这两种。大数据技术的引入可以将网络安全分析中的数据采集工作变得更加快捷：即运用Chukwa等工具，参照日志、流量数据的类型，通过分布采集的方式高速完成数据信息的采集。与传统技术相比，大数据技术的应用可以有效保障数据采集的完善性，且全流量数据的准确性能够得到有效保障。

1.2 数据查询方面

在数据查询方面，大数据技术的应用可将MapReduce作为数据检索的基本架构，参照实际要求向所有分析节点发送数据查询请求主语。当分析节点接受到这一请求后，可通过分布式并行计算方法判断自身节点是否存在查询所需数据。若存在，将满足MapReduce的的查询请求，为其显示所需流量、日志等相关数据信息。在这种网络安全分析模式下，数据的查询、检索速度将发生显著提升。对于网络安全分析人员而言，大数据技术的应用可有效提高其工作效率，减轻其工作压力。

1.3 数据存储方面

在传统网络安全分析中，数据存储的难度主要在于数据的高速传输及多样化的数据种类上。大数据技术的应用通过提供不同储存方式的工作模式，满足网络安全分析工作的数据存储需求。以供检索的原始安全数据（如流量历史数据等），大数据技术借助Hbase列式储存方法，发挥该方法的快速索引优势，快速响应数据检索需求，完成原始安全数据的分类化储存[1]。从大数据技术储存原始安全数据的流程来看：大数据技术按照统一标准对原始安全数据进行处理后，利用Hahoop分布式开展构架计算，根据各计算节点的特征完成原始安全数据的分类，进行脚本分析，最后通过对安全数据的挖掘处理，制作出数据统计报告，并将结果置于列式中进行储存。与常规分析不同的是，若网络安全分析工作要求实时开展数据分析人物，则利用大数据技术分析原始安全数据的流程将转化为：通过Spark等相关流式计算方法，事先将待分析原始安全数据置于对应计算节点上。在实时分析过程中，当安全数据流经对应节点时，该计算节点将自动开展数据分析工作，将分析结果转化为安全警告及数据统计成果，最终将所得安全数据分析结果存放至流式存储内部。

1.4 数据处理方面

在网络安全分析中，基于大数据技术的数据处理工作是通过多种不同的处理技术及分析技术完成的。以实时数据分析为例，可将Storm流式计算架构作为实时分析的基础，借助电联分析计算法、复杂事件处理法共同对来自用户的实时安全数据进行分析。大数据技术的应用可以发挥数据实时监控功能及数据内存实时分析功能，精确捕捉网络安全分析海量数据中的异常行为，并对异常行为进行抑制和处理，有效保障用户的数据安全及数据传输安全。

2 基于大数据技术的网络安全平台构建

为了改善网络安全分析质量，保障数据传输安全，可运用大数据技术，构建具有良好安全分析、检测功能的网络安全平台。

2.1 网络安全平台架构

基于大数据技术的网络安全平台架构主要由以下几个要素构成：第一，数据呈现层。该层通过安全度量技术、安全预警技术以及可视化引擎等完成原始安全数据的相关处理任务。第二，数据挖掘分析层。该层主要通过对流量、日志等数据的聚类分析、机器学习、关联分析以及统计分析等，挖掘海量数据、多源异构数据中攻击行为的特征，为网络安全分析工作提供良好的数据基础。第三，大数据存储层。该层主要负责对不同类型数据进行分类存储，以便后续数据挖掘分析、数据检索等工作的顺利展开。第四，数据采集层。该层根据数据类型，如用户行为数据、DNS流量数据、日志数据、镜像流量数据等，分别开展采集工作。与传统采集流程相比，基于大数据技术的采集效率相对较高，整个采集阶段所用时间相对较少。

2.2 实施安全分析

（1）DDoS攻击路径准实时监测

基于大数据的网络安全平台的DDoS攻击路径准实时监测流程如下所示：第一，新建空活节点队列A、空攻击路径链表B；第二，将攻击告警作为参照对象，提取精确的攻击源 IP地址等相关信息，利用上述信息开展关联查询，获取精确的攻击流量大小、流经路由器等内容。第三，上述要素确定完成后，可根据所确定信息内容，进行安全处理。例如，多攻击源地址位于路由器用户侧端口输入流量中，则需将攻击对象路由器的相关连接关系、攻击源子网等信息纳入攻击路径链表B中[3]。第四，将攻击对象路由器C作为起点，逐渐开展访问工作。此时，第一个被访问的节点为C。该节点的访问完成后，在该节点的基础上进行扩展，利用关联技术分析网络拓扑关系，将于该节点相邻的所有节点识别出来，并逐一对其进行访问。按照随机性原则从相邻节点中任意抽取一个，重复上述流程再次进行扩展分析，直至所有节点均被分析完成。

（2）检测控制源、被入侵主机

基于大数据的网络安全平台检测控制源、被入侵主机的流程为：挖掘DDoS攻击历史信息，将最初发动攻击的IP地址信息识别出来，并将其列入疑似被入侵主机。从 DNS日志数据中查询疑似被入侵主机的日志记录，并将所得查询结果于恶意 URL库进行合理比对。若 URL库中有匹配记录，可确定该主机为被控制主机。此外，在被攻击期间，还可以利用多源数据关联分析技术，找出单次攻击期内与参与攻击 IP地址信息之间存在交互网络流量关联的 IP地址，将其看做疑似控制主机，借助该主机的信息利用网络安全平台的数据检索功能，找出与其之间存在通信记录的主机，判断为被控制主机，针对这2个主机制定相应的安全防范方案。

3 结语

通过上述分析可知，大数据技术的应用可以有效提升网络安全分析工作的效率，改善其工作质量。为了保障数据传输的安全进行，还可以将大数据技术作为基本要素，构建基于大数据的网络安全平台，利用平台的综合分析功能有效监测攻击路径，并通过对被入侵主机通信记录的关联分析，识别控制主机，制定防范方案，进而保障其他主机数据传输工作的顺利进行。

[1]王帅，汪来富，金华敏等．网络安全分析中的大数据技术应用[J]．电信科学，2015．

[2]贾孙玉．浅谈网络安全分析中的大数据技术应用[J]．网络安全技术与应用，2017．

[3]崔玉礼，黄丽君．网络安全分析中的大数据技术应用[J]．网络空间安全，2016．