李 星 邬少飞

（武汉工程大学计算机科学与工程学院，湖北 武汉 430000）

1 引言

在当前的交通运输领域中，车联网(IoV) 属于物联网(IoT)内最典型的应用，但因汽车的使用存在周期性，使得数据的产生也存在周期性，汽车数据的海量产生会固定出现在早高峰和晚高峰期间。每天汽车产生的海量大数据存储达到了日增数据15TB，而如此巨量的数据在每日的产生并不是均匀分布而是周期性的产生，在短时时间里面会产生大量的数据。为了应对数据波动性产生对集群存储性能的影响，部分研究者从算法上希望能够解决Hbase 数据不平衡的问题，比如通过对预先对数据进行采集分析后再进行数据的分配[1,2]，还有对Hbase的原有算法进行优化，这些方法很好地解决了数据的不均衡问题，实现了Hbase的最大化利用，但是面对TB级别的数据其对cpu和集群性能的损耗是巨大的。部分研究者对数据进行了预处理[3-5]，通过对数据的特征进行提取，预估不同分区的负载情况，然后提前对region 进行拆分或是保证热点数据分布在不同的分区，保证Hbase的负载平衡，同样面对TB 级别的数据，其cpu 的消耗成为了新的瓶颈。近些年来，面对大数据量的存储，高并发的场景，普遍会采用Kafka 作为中间件，因为Kafka 作为消息中间件所采取的消息消费模式是发布-订阅的消息模式，面对不同的消费者，Kafka的分布式消息读取可以很好地支持到它们，相对于以往的消息队列，Kafka 单点的生产者和消费者拥有显著的优越性，能够做到百万级的读写速率，其吞吐量更高，性能更加优越，同时它能将数据写入磁盘的同时将数据复制到集群里面，这些处理不仅保证了数据的持久化更使数据的容错性得到了保障[6]。……