◆吴佳龙

（西安邮电大学 陕西 710121）

随着大数据技术在政府、银行等日愈增多领域的应用及深入，网络空间安全的重要性不言而喻，如何认识、理解大数据技术在网络安全分析中的意义并采取有效行动来保护网络安全是当前应解决的关键问题。

1 大数据技术在网络安全分析中应用的意义

1.1 提高信息数据传输效率

数据爆炸式增长，这使得在数据增多的情况下， 若还是采用之前的速度对数据信息进行传递，则工作效率会较低。而采用大数据技术，提高数据存储量，确保数据有效性，通过IP 骨干网传输和数据中心传输，可以极大地提高信息数据传输速率。

1.2 完善网络安全分析系统

大数据时代的到来，数据的曲线增长对传统的安全工具造成了猛烈的冲击，数据的泄露使得网络用户的安全无法得到保障，而且通过大数据技术对数据进行分析处理时，可以从多个角度不同方面进行，以此来提高网络安全系统处理数据的准确度，完善网络安全分析系统。

1.3 提高网络安全分析深度

传统的网络安全分析系统在面对大量流动数据时难免捉襟见肘，而大数据技术以较低的成本在大规模、多样化、低价值密度的大数据中深度挖掘出有效数据，规避传统技术遗留的风险并更加全面、更加深入的分析处理数据，因而提高网络安全分析的深度。

2 大数据技术在网络安全分析中的应用

2.1 数据采集

基于 ETL（Extract-Transform-Load）对数据进行离线采集，包括对数据的提取、转换和加载；也可利用Flume、Kafka和Storm实现对实时数据的采集：Flume是一个分布式的数据采集系统，且具有高可靠和高可用性，将Kafka作为消息缓冲区，Storm则是给与在线实时处理以便利；当然还可以通过Crawler等进行互联网采集。

2.2 数据存储

在网络安全分析中，应先根据数据的规模及种类选择不同的存储形式。对于原始数据中如日志数据等信息等，应该采用GBase、HBase等方式进行存储；对于需要进行实时分析的信息数据，应该采用Storm、Spark的计算方法将数据最终以流式方式存储到数据库中。

2.3 多元数据分析

大数据技术除了实现对多元数据准确快速挖掘并进行分析，还能够对安全隐患及漏洞等有效复查，实现对网络的安全保护。如基于DNS流量特征对僵尸网络进行检测，对数据进行深入拓展，找到源头，扩大数据检索范围，集合数据的全部分组、莫管数据等，查找主机被侵入的痕迹或者漏洞等问题，以便我们实现对网络的安全保护。

3 大数据技术在网络安全平台中的应用

3.1 构建网络安全平台的原因

人工管理逐渐增加的访问控制策略和运行状态，会产生诸如低效率，低实时性，非全面等问题，这使得人工管理陷入窘境。为了解决人工手动管理导致的一系列问题，需要建立网络安全分析的平台，实现对访问控制策略的管理与分析，提高设备运行状态管理的实时性，以此来完善网络设备的安全，为网络安全管理提供更好的服务。而网络安全平台可以通过对防火墙、网闸等网络设备的安全日志和事件等信息的收集，实现对网络的分析，更加凸显了网络安全平台的重要性。

3.2 网络安全平台的构建

基于大数据的网络平台基本包括以下几层：

（1）数据采集层：全面地采集大量有效数据。这一层包含离线与实时采集等。

（2）数据处理层：通过分布式文件系统存储大量信息，并且可以存放到列式存储中。根据不同的要求，可以采用Hadoop、流处理等技术。

（3）数据分析层：该层通过数据挖掘、机器学习等方法，利用不同技术实现对实时数据的分析和处理，找到能威胁到网络安全的数据并追溯根源。

（4）数据访问层：读取和传送数据，主要实现读写分离，包括常规查询、实时查询等。

（5）数据应用层：不同的人或企业，所需求的数据有较大差异，针对不同的身份，划分不同类别的应用，提供相应所需的数据。

3.3 网络安全平台的技术支撑

（1）数据采集：如利用 ETL的方法对离线数据进行采集；也如利用Flume、Kafka和Storm为一体的方法对数据进行实时采集，稳定可靠的收集、整合大规模有效数据。

（2）数据存储：利用HDFS分布式文件系统进行存储，用元数据管理节点系统，每个节点存放关联数据，而最基本的存储单元是64兆字节的数据块。

（3）数据分析：利用Hive这种工具对数据进行统计与分析，一般而言，可以采用 HiveQL语言对非结构化的数据进行检索，应用 Hive封装 API，通过需求定制的各种分析插件实现对数据的分析。

4 大数据技术在网络安全分析应用的相关建议

4.1 提高数据采集技术

数据采集是大数据技术的第一条件，其次只有当我们收集到具备可靠性、可用性，并且可以用于数据分析的数据才是我们需要的结果，单纯的数据采集并不是我们想要的。因此，提高数据采集技术是大数据技术的重中之重。如在日志采集系统中采用Flume采集安全数据相较于其他的方式更具高效性、可靠性，并且具有强大的容错能力；在网络数据采集系统中，使用Crawler4j等框架可以极大地提高开发员的速率。大体而言，可以先提高对数据的提取技术：增加提取的速率、准确性、安全性及对错误数据的过滤速率，再提升数据转换成不同格式的速率。

4.2 提高数据存储技术

多样化且海量的数据一直在冲击着数据存储技术的底线，对于如何提高数据存储技术，最初我们可以对数据进行不断加密，以抵挡黑客的攻击及防止安全漏洞，保护数据存储的安全性；其次我们可以使用更大的数据仓库来存储数据，这个仓库为我们无法完全存储的数据提供了一个临时驻点；最后云存储服务为大量数据提供了一个完美的存储场所，可以规避网络风险，极大地提高了存储的规模及安全。除此之外，我们需要加速对数据存储技术的创新，紧跟数字化存储技术的发展，提供更优良的存储服务。

4.3 加强保证数据的完整性

由于网络的恶意攻击或自身的操作失误等可能会致使数据发生损失，因此，对于保证数据的完整性，首先可以从提升防火墙的安全等级，并且加入入侵检测技术着手；其次应针对性、有策略地对数据进行不同种类的加密，如链路加密技术、加密压缩包、身份认证等；最后，优化完整性验证算法可以为数据提供更加安全的保障。

5 结语

总而言之，日益复杂的网络环境使得大数据技术在网络安全分析中的地位愈发提高。大数据技术通过对数据的采集、存储及分析等应用，提高了数据传输的速率，增强了数据处理的准确性，极大地提高了网络安全分析的广度与深度，为新时代的网络安全平台提供了强有力的支撑。