APP下载

基于Apache Flume 的大数据日志收集系统

2016-11-02于秦

中国新通信 2016年18期

于秦

【摘要】 在信息化及大数据时代下,各种应用程序的分散及生成的日志信息成爆炸式增长,怎么有效的收集这些日志,并对它进行在线和离线分析,已经成为这领域的热点。我们在现有的Apache Flume、Hadoop等框架下,设计实现了一种大数据日志收集系统。

【关键词】 Apache Flume 日志收集 Hadoop

大数据及互联网时代下,为了更有效的管理各种应用和系统程序的运行,通过收集它们的日志信息,进行离线和在线分析,来了解它们的运行和安全情况。在信息化及大数据下,分布式系统用的越来越多,日志的存储路径及分布情况越来越多。为了能更好的聚集存储分析这些分布式日志,本文基于开源的Apache Flume 、Hadoop 框架下,设计实现了一种大数据分布式的日志收集系统,并将收集的日志用于监控分析。

一、 Flume

Flume 是一种开源的分布式日志管理架构,它可以将日志聚集,有可用性高、性能高、事务管理、失败重启等功能。将各个分布式系统上的日志源聚集到一个存储上,方便日志的统一的分析和处理。数据处理速度快,完全可以用于生产环境[4]。 Flume的核心是agent :(1)agent是一个java进程,运行在日志收集端,通过agent接收日志,然后暂存起来,再发送到目的地;(2)agent里面包含3个核心组件:source、channel、sink。source 组件是专用于收集日志的,可以处理各种类型各种格式的日志数据,source组件把数据收集来以后,临时存放在channel中。channel 组件是在agent中专用于临时存储数据的,channel中的数据只有在sink发送成功之后才会被删除。sink 组件是用于把数据发送到目的地的组件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。……

登录APP查看全文