刘 峰，鄂海红

（1. 北京邮电大学计算机学院，北京 海淀 100876；2. 北京邮电大学，北京 海淀 100876）

基于海量数据的消息队列的性能对比与优化方案

刘 峰1，鄂海红2

（1. 北京邮电大学计算机学院，北京 海淀 100876；2. 北京邮电大学，北京 海淀 100876）

伴随着互联网的高速发展，互联网每日都会产生海量的数据，需要对这些海量数据进行大数据的实时处理，一个性能优良的分布式消息队列，会对系统的数据业务处理效率有极大的推进作用，那么使用什么样的消息队列传输这些海量数据就成为了一个关键的问题。在各大技术公司的团队中，使用最频繁的三种消息队列分别是：Apache Kafka，阿里巴巴的Rocket-MQ，Rabbit-MQ。本文首先先介绍了上述三个分布式消息队列的基本概念、架构特性以及实现原理，基于这些然后分别简单介绍它们的优缺点，之后通过搭建各个消息队列集群测试环境，分别进行大数据的实时计算实验，最后对比实时计算实验的结果，绘出相应的图形，更加直观的看出它们之间效率的对比，得出在实时大数据计算场景下哪个消息队列具有更高的性能。

分布式处理；消息队列；比较。

0 引言

伴随着如今互联网行业的高速发展，所有的主流网站与应用每日都在产生海量的网络日志，这些网络日志的背后蕴涵着巨大的价值，其中很多数据的价值其实是和其产生的时间长短成反比的，所以我们的实时流计算系统也就应运而生，它可以最大化这些数据的价值，在如今的大数据时代背景下，能比别人多看远一秒钟，就是效益！……