曹星艳

（北京全路通信信号研究设计院集团有限公司，北京 100070）



基于交通行业的大数据处理平台应用

曹星艳

（北京全路通信信号研究设计院集团有限公司，北京 100070）

对交通大数据平台架构进行研究搭建，可支撑PB级的异构数据管理及复杂交通业务处理，平台提供开发API，实现对数据的存储、查询、计算分析；提供类SQL查询功能，能够对海量数据进行方便的查询；通过虚拟化资源管理和Hadoop分布式并行计算，实现基于Hadoop进行原型搭建的交通大数据处理平台。

交通；大数据平台；系统构架；技术实现

1　大数据处理平台系统架构

交通大数据处理平台将基于Hadoop进行基础建模，虚拟化技术和Hadoop分布式并行计算是该平台构建的两大核心。

虚拟化资源管理平台是基于XEN虚拟化技术开发的一个平台，该平台主要包括系统管理、资源管理、安全机制、智能调度、日志查看等几个核心模块。系统管理包括虚拟机模板管理性能监控和远程接入管理。虚拟机模板管理主要用于快速定制和安装业务系统，即通过现有物理机或虚拟机中存在的生产环境或试验环境进行智能化的模板备份；资源管理包括虚拟机生命周期管理、物理机生命周期管理和云存储管理等基础模块；安全管理包括用户角色管理、统一授权管理和安全审计管理；智能调度则包含资源均衡迁移、省电模式迁移和弹性扩充3个模块。

Hadoop是一个分布式系统基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力高速运算和存储Hadoop，包括多个子项目，但主要由分布式存储HDFS、分布式计算MapReduce两个基础部分组成。……