单 莘 祝智岗 张 龙 付长冬 魏书晓

基于流处理技术的云计算平台监控方案的设计与实现

单 莘1祝智岗1张 龙1付长冬2魏书晓2

1(中国移动通信集团河北有限公司 河北 石家庄 050021)

2(北京邮电大学 北京 100876)

针对目前云计算平台监控手段实时性差的问题，提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心，使用iostat、mpstat等工具获取服务器性能信息，使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm，然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试，结果表明：该方案能够实现对大规模云计算平台进行实时监控，而且具有高可靠性、高扩展性的的优点，达到研究效果。

云计算 流处理 大数据

0 引 言

随着云计算时代的到来，越来越多的网络服务正发生着革命性的变化[1]。尤其当亚马逊、微软、谷歌等IT巨头推出公有云托管服务之后，越来越多的网络服务都运行于云计算平台之上，这使得IT正向着集约化、规模化与专业化的道路发展[2]。在云计算消费模式下，用户在无需了解服务器底层硬件架构、网络链接、存储方式等的情况下，只需通过简单的网络申请即可获得高效、安全的云计算服务，这在很大程度上降低了用户的硬件投入并节省了空间[3-5]。同时，采用托管形式的云主机都是通过专业的运维人员进行维护，这无疑提高了系统的安全性并减低了运维成本。……