基于ELK数据采集与分析平台的设计与实现
2021-03-08李连天
电子技术与软件工程 2021年23期
李连天
(阳江职业技术学院 广东省阳江市 529566)
1 引言
随着Internet技术的飞速发展,企业业务发展越来越大,需要越来越多的服务器。这些服务器生成的大量访问日志和其他错误日志,通过查询这些日志内容可以了解相关的硬件信息,以及发现配置过程中发生的错误的原因。当管理服务器数量达到数百台时,仍然使用依次登录每台机器的方式查询日志数据,不仅麻烦,而且效率很低,运维人员要花费数倍的时间。后来,人们开始使用集中式管理来收集和汇总所有服务器上的日志,使用Linux命令实现检索和统计,但处理数百台服务器生成的日志结果也不理想。因此网络运维人员需要一套可以高效率统一收集日志的可视化系统。为了解决上述问题,需要设计了一个基于ELK(Elasticsearch Logstash Kibana)的日志分析平台。它的功能是实时搜索,稳定,快速且使用非常方便。
2 需求分析
目前很多公司由于业务的发展,为保障公司业务正常进行,就需要增加相应的服务器来运行,服务器产生的海量日志,运维人员用以往的方法已经应付不过来了,现急需要做到问题的及时发现和处理。在日常运维工作中,运维人员对于系统和业务日志的处理尤为重要。以下六点是对ELK的需求分析:
2.1 数据日志的日益增多
如今一般一个公司都需要分量足够大的分析能力,处理数据时生产的日志随着业务增多,微服务得到重视,处理日志的能力进一步加强。在日常的工作中发现,系统产生的日志逐渐增加,想要找出其中的错误日志已经很难了。……
登录APP查看全文
