陈 飞，艾中良

(华北计算技术研究所，北京 100083)

基于Flume的分布式日志采集分析系统设计与实现

陈 飞，艾中良

(华北计算技术研究所，北京 100083)

互联网的迅猛发展以及大数据相关技术的兴起，使得日志数据的规模日益剧增，给已有的日志采集及分析系统带来了挑战；同时针对互联网安全的攻击活动也层出不穷，如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑，也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统，从系统设计和架构等方面提出了新的解决思路，并针对Nginx的访问日志进行了实时采集和分析及展示，完成了原型系统的实现，实验证明，基于Flume的分布式的日志采集分析系统方案具有可行性。

信息安全；日志采集；Flume；Elasticsearch；Kibana

本文著录格式：陈飞，艾中良. 基于Flume的分布式日志采集分析系统设计与实现[J]. 软件，2016，37（12）：82-88

0 引言

互联网的快速发展，尤其是近年来移动互联网的崛起及大数据技术的迅猛发展，导致了日志数据日益剧增[1]，这些日志数据具有体量巨大、种类繁多、价值密度低以及处理速度快等特点[2]。海量日志数据的出现给互联网公司和企业带来了巨大挑战[3]，一方面海量数据的出现对企业和单位现有的日志采集系统造成了冲击，传统的日志采集方案不足以支撑现有大规模数据量，在面对各类型数据处理时不够灵活；另一方面，当前互联网上的网络攻击日益频繁，企业安全系统受到严重的挑战，网络安全形势严峻[4]，海量日志数据的出现会将极少有用的数据湮没。……