基于ELK的日志分析系统
2017-04-08魏山林
魏山林
摘要:日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
关键词:日志;系统运维
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2017)05-0069-02
1 Elk日志分析平台介绍
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用 grep 、 awk 和 wc 等Linux 命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
2 开源实时日志分析ELK平台部署流程
1)安装Logstash 依赖包 JDK
Logstash 的运行依赖于Java 运行环境, Logstash 1.5 以上版本不低于 java 7 推荐使用最新版本的Java 。
下载RPM包安装jdk
#rpm -ivh jdk-8u91-linux-x64.rpm
设置 JDK 的环境变量,如下:
# tail -5 /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
在 Shell 提示符中执行java version 命令,显示如下结果,说明安装成功:
# java -version
java version "1.8.0_91"
2)安装 Logstash
下载并安装Logstash ,下载allplugins的版本,安装logstash 只需将它解压的对应目录即可,例如: /usr/local 下:
# tar zxf logstash-all-plugins-2.3.1.tar.gz -C /usr/local/
#cd /usr/local
#mv logstash-2.3.1 logstash
安裝完成后运行如下命令:
# /usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Settings: Default pipeline workers: 8
Pipeline main started
ysten
2016-05-20T01:53:36.857Z localhost ysten
使用-e参数在命令行中指定配置是很常用的方式,不过如果需要配置更多设置则需要很长的内容。这种情况,我们首先创建一个简单的配置文件,并且指定logstash使用这个配置文件。……
