江佳希，谢颖华

(东华大学 信息科学与技术学院，上海201620)

0 引言

随着大数据时代的来临，SQL注入攻击、XSS攻击等网络安全事件层见叠出，给网络安全带来了巨大的挑战。日志记录着设备运行状态，各种安全事件都会在系统中留下日志记录，通过对日志进行分析，可以挖掘重要信息，实时掌握网络安全状况，既可做到事前防护，又可做到事后追本溯源及责任追查。

本文设计的安全态势感知系统将采集到的日志文件送至分布式文件系统HDFS进行存储，在Hadoop架构上将改进的K-Means算法和MapReduce高效的并行计算能力相结合，对存储的日志进行聚类和分析。安全态势感知系统可以实时监控网络安全态势，实现日志分析追责，有效地减少网络安全事故的发生。系统采用高可用部署模式，具有可靠、易拓展、易维护以及可视化的特点[1]。

1 系统总体架构及工作原理

1.1 总体架构

基于Hadoop大数据架构的安全态势感知系统通过对安全日志的实时分析,可以对网络安全环境实现实时监测。针对现存威胁，系统以实时和统计的方式对安全告警进行展现，针对未知威胁，系统从外部威胁和脆弱性两个方面进行预警。

安全态势平台的总体软件架构由数据层、分析层、展示层三部分组成。数据层处于整个系统框架的底层，主要完成的是数据源的采集与存储，将不同来源的日志切成大小相同的数据片后送到各个节点。分析层调用Map和Reduce函数库将任务进行拆分作并行计算，结合K-Means聚类算法进行聚类结果分析。……