APP下载

基于Spatial OLAP 的城市交通综合管理系统设计与实现

2023-09-18洪汇隆

科技创新与应用 2023年26期
关键词:数据仓库立方体空间数据

杨 婷,洪汇隆

(国家知识产权局专利局专利审查协作广东中心,广州 510000)

城市道路交通问题是我国大中城市目前普遍面临的社会问题之一。随着社会经济的发展,现代化进程的加快,城市人口和交通流量急剧增加,城市道路交通拥堵现象也越来越严重,极大地制约了城市的发展[1]。虽然我国在交通建设方面投入大量人力和资金,仍难以全面解决交通问题。如何全方位地实时监控交通路况,科学分析交通数据,有效地管理城市交通,缓解交通压力是当代社会一个值得研究的课题[2]。

关系数据库之父E.F.codd 在20 世纪90 年代初提出了联机分析处理(Online Analytical Processing,OLAP)的概念。OLAP 是在数据仓库的基础上实现快速多维分析的商务智能技术,是一种为数据分析、管理或者执行人员提供多角度、快速、一致和交互地存取信息的软件技术。联机分析处理可以辅助决策者作出正确的决策,分析人员和管理人员通过OLAP 从多角度观察数据并获取信息,并能够支持各级管理决策人员从不同的角度、快速地对数据仓库中海量的数据进行多种组合的查询和多维的分析。OLAP 的主要基本操作包括:①切片(Slice)和切块(Dice);②钻取(Drill):上卷(Roll-up)和下钻(Drill-down);③旋转(Rotate);④其他操作[3]。

OLAP 作为数据仓库中数据分析的一个主要手段,可以对属性数据进行有效的多维分析和查询。但是,城市交通的运行往往还伴随着地理空间特征,为了增强地理空间信息对城市交通运行的决策支持,空间维度已经成为利用数据仓库的OALP 对城市交通数据进行多维分析时的必不可少的维度。空间联机分析处理技术(Spatial OLAP,SOLAP)将GIS 与OLAP 相结合,提供一个在空间维度上不同尺度进行自动钻取的解决方案,实现各类空间联机分析,为用户提供更加全面灵活的空间决策支持[4-6]。空间联机分析处理技术与传统意义上的联机分析处理技术的基本操作一样,只是将操作对象换为空间数据立方体,空间联机分析处理包括了局部分析、全局分析、概括分析和旋转分析等操作。

本文基于空间数据仓库的SOLAP 技术,设计适合交通综合管理的系统架构和主要系统功能模块,利用针对以交通为主题的空间数据立方体切片、旋转、钻取等OLAP 操作从多视角分析交通流信息,并在电子地图上进行展示,以直观的形式为交通管理者进行决策提供技术支持。

1 系统总体框架

城市交通基础数据主要包括空间数据和属性数据。城市交通基础空间数据指的是基于地理位置的相关数据,主要为城市基础地图库(行政区划图、道路交通图、地址信息等) 和各类车辆的全球定位系统(Global Positioning System,GPS)数据。城市交通基础属性数据主要包括路口路段类型、道路安全属性、交通小区、交通方式、交通设施、交通检测点及车辆的相关信息(包括机动车相关信息以及驾驶人相关信息)等。利用数据仓库管理工具对城市交通原始数据进行清洗得到有效数据,并经过数据抽取、转换、装载(Extract-Transform-Load,ETL)等操作装载到交通数据仓库中,在数据仓库的基础上构建出与城市交通相关的不同主题的多维数据立方体。在城市交通相关的多维数据立方体上可以进行切片、切块、上卷、下钻和旋转等OLAP 操作。最后,将得到的OLAP 分析结果用亮度图、颜色图、专题地图和空间三维图等不同手段展示出来。系统的总体框架图如图1 所示,系统包括了3 层:数据源层、数据仓库层、OLAP 层。数据源层为系统的基础层,包括了空间数据、监控数据、GPS 数据及其他数据。数据仓库层为数据存储中间层,利用从数据源层获取的处理后的城市交通基础数据以及中央元数据构建交通数据仓库。OLAP 层为应用层,将交通数据仓库中的数据构建多个空间数据立方体,并对空间数据立方体进行OALP 分析操作获得空间联机分析结果,并对分析结果进行可视化的表达。

图1 系统总体框架

2 以城市交通为主题的空间数据仓库构建

城市交通综合管理系统综合了各个数据源系统中的各种数据,数据之间的层级结构复杂,数据量很大,为了最大限度地集成数据,提高执行的效率,并为交通管理决策者提供决策支持,需要构建一个在时态地理信息系统(Temporal GIS,TGIS)的基础上融合了数据仓库技术的空间数据仓库,以便从大量静态基础数据库中提取城市交通数据,并对这些数据进行综合管理。

2.1 数据ETL

将数据从基础数据层提取到一个独立的数据仓库数据环境中,依次需要进行数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)操作,这几个操作叫做ETL,数据ETL 是构建数据仓库的重要环节。

城市交通综合管理系统空间数据仓库的ETL 过程如下。

1)数据抽取。数据抽取主要是确定构建系统所涉及的数据源并从源数据库中提取数据。城市交通涉及的源数据库包括了人口库、城市交通监控数据库、城市道路交通数据库和空间数据库等。

⑯㊱OECD,Competitive Neutrality:A Compendium of OECD Recommendations,Guidelines and Best Practices,OECD Publishing,2012,pp.5 ~9,pp.15 ~69.

2)数据清洗和转换。数据清洗主要是对抽取数据的有效性进行检查,剔除无效、相似重复以及数据项空白的数据。由于不同数据库中数据类型不一致,存在同义不同名、数据格式不规范等问题,需要进行数据转换。通过数据转换汇总提取的数据,将其转换成目标数据结构。

3)数据装载。最后,直接运用SQL 语句或者用批量加载的方法把转换后的数据进行汇总,加载到城市交通空间数据仓库中。

2.2 以交通为主题的空间数据立方体

经过ETL 的交通数据需要按照多维数据模型加载到数据仓库中。多维数据模型是数据仓库的核心。多维数据模型是为了满足用户的查询和从多个角度进行数据分析的需求,建立的一个基于事实表和维度的数据仓库模型。建立多维数据模型,需要进行维度和度量的设计。维度指观察对象的角度,比如地理空间维、时间维、车辆维等,度量是与多个维度交叉的测度,如交通流车辆数量。

常见的多维数据模型有星形模型和雪花模型。星形模型的维表是非标准化的,容易导致数据冗余,让事实表变得臃肿。通过对星型模型的进一步层次化可以得到雪花模型。交通数据的层级结构比较复杂,属性数据间存在较多的多对多关系。为了减少数据冗余,提高查询性能,本文选择雪花模型来组织系统中的数据,如图2 所示。

图2 交通空间数据雪花模型

该多维数据模型以城市交通事实表为中心,构建出“交叉口”“交通路段”“交通小区”“车辆”“时间”这5个与城市交通相关的维,其中,“交叉口”维又包含“交叉口等级”维,“交通路段”维又包含“路段等级”维,“车辆”维又包含“车辆类型”维和“车主”维。“交叉口”维包含了交叉口ID、地理坐标(X,Y)、日均交通流和交叉口等级等信息。“交通路段”维包含了ID、路段长度、车道、自由流速度、日均交通量、车公里数和路段等级等信息。“交通小区”维包含了ID、交通小区的面积和名称等信息。“车辆维”包含了车辆ID、GPS 坐标、车辆类型及车主等信息。“时间”维包含了年、季度、月、日、星期几、时、分和秒等信息。

3 系统主要功能模块的设计与实现

城市交通的综合管理系统主要包括5 大功能模块:系统登录与后台管理、数据采集与更新模块、OLAP分析模块、电子地图展示模块和数据输出模块。如图3所示。

图3 系统主要功能模块

3.1 基本功能模块

3.1.1 系统登录与后台管理模块

系统登录与后台管理模块应该包括用户角色的定义、角色权限赋予、结果发布审核和用户添加等功能。

3.1.2 数据采集与更新模块

每天都有新的交通情况,所以城市交通综合管理系统中的数据是需要不断更新的。数据采集与更新模块主要是采集每天不同车辆的GPS 信息,以及更新城市交通道路或者其他空间信息变化的情况。

3.1.3 数据输出模块

数据输出模块主要是为了输出由OLAP 分析的结果制作而成的报表和专题地图等。

3.2 OLAP 分析模块

OLAP 分析模板包括了OLAP 的基本分析、车辆轨迹查询、综合查询等功能。

3.2.1 OLAP 基本分析

OLAP 基本分析包括了切片、切块、上卷、下钻和旋转等功能。

当数据立方体的维数过多时,人们往往很难观察出度量随维的变化规律,可以将其中一部分维(一个或多个)固定住,只观察其他维上度量数据的分布情况。切片是只固定一个维来降低数据立方体的维度。例如,在交通空间立方体中的“路段等级”维上切片,并选择路段等级等于“高速公路”,就可以得到高速公路上车辆的详细情况。切块是固定2 个或者2 个以上的维。例如,在交通空间立方体中的“路段等级”维和“时间”维上切块,并选择路段等级等于“高速公路”,时间等于“2022 年10 月10 日”,就可以得到在2022 年10 月10日高速公路上车辆的详细情况。

空间上卷、下钻是改变空间数据立方体的维的数量,或者改变维的层次,变换联机分析的概括度和粒度。空间上卷就是实现空间地理要素聚集的过程,把符合条件的较小地理要素(线、面)进行叠加、合并等操作,得到一个聚集后的地理要素。例如,可以在地图上合并某时行驶某类车辆大于100 辆的路段集合。空间下钻是空间上卷的逆操作,其结果是得到空间上卷前的更加详细的地理要素,即合并前的较小地理要素集合。例如,在福州市交通地图上进行下钻,得到福州市各区域详细交通信息。

空间旋转分析是变换观察维的角度,从不同的方向来观察度量在各个维上的分布情况。将每个维彼此在垂直方向上固定,并改变空间数据立方体维的方向,对整个空间数据立方体进行方向上的变换。

3.2.2 车辆轨迹查询

车辆轨迹查询是通过车牌号及相应时间段来查询车辆的行驶轨迹,车牌号可以是车牌号的前几位或是全部,在车牌号码的输入框中输入相关的车牌号,会有相关的智能提示。可以选择智能提示中的车牌号或车牌的前几位,然后再设定好相应的时间段即可查询,如查询车牌号前几位为“粤A00”且时间段为2011-05-01 11:00:37 到2011-05-01 17:00:37。

查询到的结果可能是一项也可能是很多项,找到要查询的车辆后单击其车牌号,就会在地图上播放该车的轨迹,可以通过查询结果中的暂停播放及继续按播放按钮对轨迹播放进行相关操作,该轨迹的记录也在网页左边栏中显示具体的记录,单击左边栏的结果记录会在地图上定位到该记录的位置,并显示该记录的相关信息,单击地图上的轨迹点也会显示该点的相关信息。

3.3 电子地图展示模块

地图基本操作功能主要包括地图的放大、缩小、漫游、全图、测距、测面积、鹰眼、清除、地图显示级数控制和地图转换等功能。通过地图操作功能帮助用户熟练操作地图,使用户更加方便地查看地图信息。

以GIS 工具作为分析平台得到的分析结果可以展示在电子地图上,并制作成专题地图的形式供决策人员参考。

4 结束语

由于数据来源多,数据量大,很难用纯手工方式或基于传统数据库查询的方式来管理与分析海量的城市交通数据,本文提出使用空间数据仓库的Spatial OLAP 技术对城市交通数据进行分析与管理,可以从时间、空间等多维角度对城市交通数据进行查询分析,并以地图和图表的形式对分析结果进行可视化展现,可大大提高城市交通管理效率,为决策者提供决策支持。

猜你喜欢

数据仓库立方体空间数据
叠出一个立方体
基于数据仓库的住房城乡建设信息系统整合研究
图形前线
分布式存储系统在液晶面板制造数据仓库中的设计
探析电力系统调度中数据仓库技术的应用
立方体星交会对接和空间飞行演示
折纸
元数据驱动的多中心空间数据同步方法研究
基于数据仓库的数据分析探索与实践
基于文件系统的分布式海量空间数据高效存储与组织研究