张建东

（乐山师范学院计算机科学学院，乐山 614000）

0 引言

随着网络应用的爆发式增长，以及用户使用量的增加，网络流量增长越来越快，这也导致日志数据的爆炸式增长，如何更好地分析日志数据，并从中找出用户的行为模式，以及发现用户的异常模式以便更好地为用户服务，同时找出网络异常方便管理员对网络进行维护升级和发现安全隐患，成了一个亟待解决的问题。大数据指的是无法在规定时间内用现有的常规软件工具进行收集、存储和处理的数据集合，通常指10TB以上规模数据。大数据技术是能突破常规软件限制，对大数据进行收集、存储和处理技术的统称。大数据的主要特征有：数据体量巨大，数据类型繁多，价值密度低，处理速度快。从以上分析可以看到目前的网络日志数据满足大数据的特征。

当日志数据量比较小的时候，主要是采用单机进行数据分析，随着数据的增长，单机分析日益不能满足要求。目前常用的日志分析方法有ELK日志分析平台，ELK 是由 ElasticSearch、Logstash、Kibana组成的开源日志处理平台解决方案。ELK能实现日志收集，存储，统计分析并使用Web页面显示等功能，可以起到实时系统监测、网络安全事件管理等功能[1]。但是ELK提供的分析技术相对较简单，还需要设计辅助程序来满足特定系统和环境的分析要求。Chukwa是Hadoop项目中开源的分布式系统数据收集和分析工具，包含了包括数据收集、重组、分析和展示的完整流程，但是Chukwa不能应用于所有的数据分析场景。……