基于大数据技术的网络异常行为分析监测系统
2018-01-17王萍
电子技术与软件工程 2017年24期
王萍

摘 要
本文提出了一种基于大数据的技术来识别网络异常行为的方法,并基于该理论方法设计实现了一个网络异常行为分析监测系统。本文详细描述了系统的总体架构设计、各模块详细设计及异常入侵行为发现方法原理。本系统涉及的核心技术模块包括数据采集与预处理模块、实时流量监测模块、大数据关联分析异常检测模块、访问行为基线机器学习模块、综合管理与展示模块。本文使用的异常识别方法首先通过网络流量前端数据采集与预处理模块采集并还原网络流量数据、通过syslog收集安全设备告警数据、通过漏洞扫描工具采集系统和应用的漏洞数据,再将多种数据源采集的数据进行融合和关联分析,利用机器学习技术形成网络边界访问、业务系统访问、网站访问正常行为基线,再结合基线与实时流量和网络安全事件的实时对比关联分析识别网络入侵行为。系统使用的主要技术有:基于Spark streaming的实时大数据关联分析技术,基于Spark MLlib的离线挖掘分析技术,基于kafka的数据总线技术,基于Spring MVC的Web应用技术,基于html5、css、js的前端展示技术。
【关键词】网络异常行为分析 实时关联 机器学习 大数据
1 绪论
近年来网络攻击技术发展变换迅速,随着各种网络攻击检测技术的发展,黑客为了绕过检测系统,采用的攻击手段也越来越隐蔽,行为越来越复杂,为了达到最终目的,黑客潜伏周期也会很长。在此种场景下,现在普遍运用的基于特征……
登录APP查看全文
