龚剑敏　颜涛　周亮

摘要：随着计算机技术和通信技术的飞速发展，网络安全形势也越来越严峻，如何在海量日志中发现安全攻击是个值得研究的问题，传统的日志分析方法效率低，难以发现一些高级的网络安全威胁。针对该问题，提出了基于分布式存储和Spark框架的网络日志分析系统架构，不仅有效利用了云环境中的计算存储资源，同时还大大提高了计算效率。

关键词：分布式计算;网络攻击;日志分析;拒绝服务攻击

中图分类号：TP393      文献标识码：A

文章编号：1009-3044（2021）04-0044-02

Abstract：With the rapid development of computer technology and communication technology， the network security situation is becoming more and more serious. How to find security attacks in massive logs is a problem worth studying. Traditional log analysis methods are inefficient and difficult to find some advanced network security threats. To solve this problem， a network log analysis system based on distributed storage and spark framework is proposed， which not only effectively utilizes the computing storage resources in cloud environment， but also greatly improves the computing efficiency.

Key words： distributed computing; network attack; log analysis; denial of service attack

随着计算机技术和通信技术的飞速发展，网络数据呈指数级上升，服务器端接收到的用户访问日志文件的数据量越来越多，网络安全威胁形势也越来越严峻，攻击手段越来越隐蔽，如何在海量日志中发现安全攻击是个值得研究的问题。本文提出了一种基于分布式存储和Spark框架的网络日志分析系统架构，不仅有效利用了云环境中的计算存储资源，同时还大大提高了计算效率。

1相关技术概述

本文设计的检测系统是针对实时数据进行计算和分析，目前对于大量实时数据进行流式计算的最实用的组件是 Spark Streaming，本系统采用 Kafka 用于收集服务器的访问日志，接下来介绍 Spark和Kafka。

1.1 Spark框架

Spark是由加州伯克利大学提出的一种分布式数据处理框架，可用于构建低延时的大型数据挖掘应用程序。Hadoop中 MapReduce 会产生巨大的 I/O 开销，Spark采用内存计算克服了这一弱点，提高了性能[1]。SparkStreaming 是一个 Spark 针对实时数据进行计算和分析设计的模型。……