肖体伟

（内江职业技术学院，四川 内江641000）

基于Hadoop的云端异常流量检测与分析平台*

肖体伟

（内江职业技术学院，四川 内江641000）

Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用，但其云端易受到各种威胁和攻击，基于此，开发了一种基于Hadoop的云端异常流量检查与分析平台。首先，使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息；然后，通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击，从而保障云端的安全。由于本平台基于开源的Hadoop实现，因此成本较低；同时，基于Java语言实现，可成功移植于各种主流操作系统，具有广泛适用性。基于局域网进行监控试验，结果表明本平台可成功地检测出异常流量，并输出友好的用户界面。

云计算；Hadoop；分布式计算；异常流量；检测分析；网络攻击

0 引言

随着移动设备的普及，Internet网络的数据量呈爆炸式增长，服务端的数据流量随之增加。为了成功和有效地利用流量数据，需要对数据进行处理与分析。目前许多攻击（如 DDoS、PDoS）可对云端及网络造成毁灭性打击[1]，因此对此类攻击的检测与阻止极为重要，通过异常流量检测来检测此类攻击是一个重要方法[2]。

Hadoop是一种应用极为广泛的大规模分布式数据处理系统[3]，其可有效地扩展数据存储空间，采用平行化计算提高了数据的计算处理能力，并实现了MapReduce的云计算编程模型[4]。尽管已有较多的异常流量分析方案，但极少有基于云计算云端的异常流量检查方案。……