APP下载

基于SparkStreaming的车辆轨迹实时处理实现研究

2021-01-12马晟刘雅伦陈晓男沈漪

科技资讯 2021年32期
关键词:系统

马晟 刘雅伦 陈晓男 沈漪

摘  要:城市的发展使得运营车辆日益增长,车辆调度愈发困难,传统系统无法满足现有众多车辆的监控调度与运营。该程序基于大数据流处理系统,实现了大批量的车辆信息监测和实时处理以及车辆的精细监控与轨迹回放。可用于网约车、公交车以及货运集团的调度中心进行实时监控和订单把控,以提高车辆调度的灵活性,达到最优调度、减少成本的效果。

关键词:SparkStreaming  大数据  轨迹回放  交通

中图分类号:TP31       文献标识码:A

Abstract: With the development of the city, the number of operating vehicles is increasing, and the vehicle scheduling is becoming more and more difficult. The traditional system can not meet the monitoring, scheduling and operation of many existing vehicles. Based on the large data stream processing system, the program realizes a large number of vehicle information monitoring and real-time processing, as well as vehicle fine monitoring and track playback. It can be used for real-time monitoring and order control in the dispatching center of online car hailing, buses and freight groups, so as to improve the flexibility of vehicle scheduling, achieve optimal scheduling and reduce costs.

Key Words:SparkStreaming;Bigdata;Track playback;Traffic

隨着城市的发展,运营车辆日益增长,车辆调度愈发困难,传统系统无法满足现有众多车辆的监控调度与运营。基于大数据系统的车辆实时监控与调度需求随着大数据技术的日趋发展有了实现的可能。

1  数据处理系统的设计

该系统实现对海量车辆轨迹数据的采集、存储、实时处理、轨迹回放功能。轨迹数据在盖亚数据平台申请达到,编程模拟产生实时数据流,经大数据平台采集处理存入数据库,然后在前台显示实时的车辆轨迹[1]。

1.1系统整体架构

基于系功能需求,该系统的总体设计为:先由车辆端上传坐标数据(编程模拟产生),flume多源采集,然后写入kafka的topic,接着通过SparkStreming实时消费kafka,再根据订单存入redis,最后实现订单数据列表生成以及订单车辆轨迹回放[2]。它异于传统数据系统的地方是:采用大数据流处理框架,具有高吞吐率、高负载、高可用性、实时性高的优点[3]。整个系统的逻辑实现如图1所示。

1.2数据回放模块设计

登录APP查看全文

猜你喜欢

系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
基于UG的发射箱自动化虚拟装配系统开发
半沸制皂系统(下)
FAO系统特有功能分析及互联互通探讨
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
PLC在多段调速系统中的应用
1-Bit人机交互系统