APP下载

高速公路数据管理体系研究

2023-11-29陈志涛陆艳铭何汝江

交通科技与管理 2023年19期
关键词:数据服务数据管理架构

李 孜,陈志涛,杨 路,陆艳铭,何汝江

(云南省交通规划设计研究院股份有限公司,云南 昆明 650041)

0 引言

高速公路数据管理体系是为了实现高速公路运营管理、决策制定和未来发展规划的高效数据获取、存储、处理、分析和应用,为高速公路系统中各类数据资源的规划、整合、治理和优化而设计的综合性框架。它包含了数据中台建设、数据治理和数据资产管理等关键要素,通过对高速公路各项业务数据的清洗、转换、治理等工作,将大量杂乱多样的数据进行统一、规范和标准化[1]。

车路协同、边缘计算、高速智慧运管养系统、AI 道路事件分析等交通行业新技术的应用都以对海量的数据高效管理和使用为基础,整合交通资源,促进跨领域的资源共享与数据开放[2]。目前,传统高速公路仍存在基础设施数字化水平仍然较低,信息资源整合共享利用不足,子系统数据孤岛严重,数据不能全生命周期传递,系统建设多、小、散,部门之间、部门内部业务系统缺乏统筹共享等问题,更多解决了“从无到有”的缺陷,信息壁垒仍然大量存在,数据质量也需要进一步提高,建设集一体化、人性化、便捷性于一体、高效运营和服务的高速公路数据管理体系势在必行。

1 高速公路数据管理现状

通过对相关文献的研究发现,目前学者普遍认为大数据应用在企业运营领域具有非常大的发展潜力。随着互联网技术的快速发展,在交通运输行业中,高速公路的数据管理需要借助数据中台、数据治理等手段实现优化。王越等人[3]针对子公司数量多、项目繁杂、资金分散、数据冗余的高速公路企业集团,提出一种搭建数据中台来优化数据治理的财务管理模式。谭峰等人[4]重点对基于中台技术的技术架构进行探究,并提出了系统网络部署架构。

随着社会的不断发展,交通运输作为基础设施领域的重要组成部分,正面临着更高效、更智能、更生态的建设要求[5]。高速公路信息用户种类繁多,需求多种多样,当前高速公路领域信息化建设中的信息孤岛遍布,管理效率低下,在信息的采集、加工、交换、共享和应用方面存在诸多问题,具体表现如下:

信息“孤岛”严重,顶层规划缺位。由于高速公路各业务系统的建设是分阶段实施的,在建设初期,各部门之间无法有效共享数据。

信息资源应用单一,缺乏共享。传统高速公路建设中尚无统一的一体化管理软件平台,信息资源只有得到交流和共享,才能得到充分开发和利用。

缺乏对数据的有效利用。交通大数据开发利用度不高,普遍看而不用,很多业务场景下数字化只停留在数据感知、汇集和观看阶段,难以适应行业内丰富的业务需求。

2 高速公路数据管理体系目标研究

2.1 通过数据治理建立数据资产管理体系

建立高速公路数据资产统一管理体系,通过对高速公路的交通基础数据、业务数据、设备设施数据、地理空间和模型数据等进行数据治理,提高各类应用获取数据的效率,降低成本和风险,实现数据资产的标准化管理和充分利用。具体目标包括:

(1)高速公路数据统一采集平台:通过建设数据湖,实现全面采集、实时传输、可靠存储各类数据,确保数据的完整性和安全性。

(2)高速公路数据统一治理平台:针对交通运输全生命周期数据的复杂性和多样性,有效地集成各种硬件设备和软件系统,实现跨平台的双向数据调用,以便更好地收集、处理、存储和服务数据。

2.2 通过统一数据标准体系建设,实现全面数字化管理

统一数据标准体系是高速公路数据管理体系的重要组成部分之一,须满足数字化公路建设和相关业务管理的需求。通过统一数据指标体系,指导各个应用场景系统建设,提高交互效率。这一体系将集成各种高速公路数据来源,例如养护管理数据、公路机电系统数据,视频雷达数据、地理信息数据等,实现数据归口管理、加工规范及分析集成。

2.3 基于数据中台助力高速公路从信息化向数字化转型

高速公路智慧化发展建设大致可分为四个阶段,面向机电产品研制、标准化、产品化的1.0 阶段;以高速公路通信、收费、监控建立和完善的2.0 阶段;基于云计算、大数据、人工智能技术构建高速公路智能整合平台的信息化3.0 阶段;实现道路交通一体化、车路协同、天地一张图的智慧化4.0 阶段。

经过多年建设,目前全国高速公路发展处于3.0 阶段,是智慧高速标准化建设实践试点和攻坚阶段,通过一体化数据中台的建设,实现高速公路的数字化转型,最大化地发挥数据价值,由统计分析向预测分析转变,由单领域分析向跨领域转变。

3 高速公路数据管理体系架构研究

为实现从数据接入、处理、存储、管控和服务等全生命周期的高速公路数据资源管理,构建“数用分离、逻辑统一、智能驱动”的高速公路信息资源体系。

3.1 高速公路数据管理体系业务架构

高速公路数据管理体系涵盖以下板块内容:数据集成平台、数据治理平台、大数据计算与存储平台、数据服务链、数据应用平台。数据来源包括交通基础数据、地理空间及模型数据、设备设施数据、业务数据等。这些平台共同构建一个完整的数据管理和分析体系,使高速公路数据得以更好地管理和应用,为实现智慧高速提供坚实的数据支撑。高速公路数据管理体系业务架构如图1 所示。

数据集成平台。是一个提供数据归集处理功能的平台,用于多源异构的数据抽取、转换和加载。通过此平台,可以将数据加载到存储结构中,用于各种数据治理、分析、共享、处理、转化等各个场景。在高速公路数据管理体系中,数据集成平台的建设将有效地消除数据孤岛问题,帮助实现多业务场景的数据汇集和整合,为数据的后续治理、分析以及多种业务需求提供支持。

数据治理平台。数据治理平台致力于解决高速公路数据分散、标准不统一、质量难以控制、交付不透明等一系列问题。通过全流程的数据管理,探查、评估数据质量、标准制定以及数据模型的加工等功能,数据治理平台确保数据在整个生命周期内得到有效的管理与优化。借助大数据引擎,多元异构的数据可以通过标准化工具和智能化方法进行整合,从而将庞杂的基础数据转化为有价值的数据资产。这不仅有助于实现数据的价值化,更能推动业务的创新与发展。

大数据计算与存储平台。作为一个综合解决方案,能够处理不同类型数据的存储,包括结构化、半结构化和非结构化数据。该平台提供多样化的计算能力,如融合分析、数据解析和空间计算能力,以应对专业的非结构化数据,使得各高速公路业务场景中所产生的大规模数据都能够得到有效存储、高效计算和深度分析,从而支持决策制定、业务优化和智能化发展。

数据服务链。提供以目录为驱动的数据服务链,提供数据资源服务管理。通过建立科学合理的分类体系,信息资源目录将信息资源共享和交换服务组织成一系列相关的信息主题,从而支撑多个业务领域的数据服务需求,涵盖数据接入、协议转换、数据资源服务、数据资源管理等功能。

数据应用平台。该平台为高速公路管理部门提供了一个统一的、智能化的环境,以便利用海量数据进行全面的应用支持和业务优化。数据应用平台提供数据资产管理、智能运营管理、智能养护、交通规划、应急管理等功能。通过数据应用平台,高速公路管理部门能够更好地管理、分析、可视化和共享数据,从而提高运营效率、交通安全性以及道路服务质量。

3.2 高速公路数据管理体系功能架构

高速公路数据管理体系主要提供数据接入、数据处理、数据管控、数据服务、数据共享交换和服务总线等功能模块,高速公路数据管理体系功能架构如图2 所示。

数据接入:包含数据探查、数据读取、数据传输、任务管理、解密解压、质量检测和系统管理等功能,通过统一接入,将源数据集中存储至原始库,为高速公路数据资源的汇聚集中、统一标准化处理和信息资源池构建提供源数据支撑。

数据处理:通过数据提取、数据转换、数据清洗、数据关联、数据融合、数据标识和数据比对等功能建立标准化的数据智能处理模式,提供数据提取、清洗、转换、关联、比对、标识等规范化的处理工具。

数据管控:通过数据标准管理、元数据管理、数据质量管理、数据血缘管理、数据分级分类管理、资源目录管理、数据流量管控和数据运维管理等功能,实现数据资源的透明、可管、可控,厘清数据资产,提升数据质量,保障数据安全使用,促进数据流通。

数据服务链:通过数据资源目录服务、数据共享门户、数据检索服务和数据标签管理等功能,实现数据的面向应用的封装和服务。

数据交换共享:通过数据共享交换系统,实现高速公路数据在不同部门、区域和合作单位之间的横向、纵向流通。

服务总线:为支持高速公路信息的互联互通和协同发展,数据服务的登记、服务协议转换和服务管理等功能通过服务总线系统得以实现。

3.3 高速公路数据管理体系技术架构

高速公路数据管理应采用主流成熟的技术、分层解耦的体系结构来构建。整体技术架构可分为数据接入、数据存储、数据计算、数据服务四个层次。

数据接入层:使用数据抽取、日志采集传输、分布式消息队列等技术手段实现高速公路数据的接入,确保数据源多样性和实时性。

数据存储层:支持后续的数据分析和查询,实现结构化、半结构化、非结构化的高速公路数据安全高效存储,采用分布式文件系统、分布式关系型数据库、分布式列数据库、对象存储等技术。

数据计算层:使用离线计算、实时计算等技术来处理高速公路数据,包括数据清洗、转换、分析和建模等操作,以提取有价值的信息和支持实时监控。

数据服务层:利用Restful API、Web Service、文件服务、消息分发、数据鉴权等技术,构建高速公路数据服务平台,为用户提供数据查询、分析、可视化以及报告生成等功能,满足不同应用场景的需求。

4 结语

该文介绍了高速公路管理体系研究的主要内容,首先分析了高速公路数据管理体系现状和挑战,并阐述了体系的目标。接着,从业务架构、功能架构和技术架构几个方面展开介绍了高速公路数据管理体系,通过这种体系连接各种应用和应用所需的信息资源,整理整合各类数据、组件和服务,打通各业务部门信息,实现高速公路数据的无缝管理。

猜你喜欢

数据服务数据管理架构
基于FPGA的RNN硬件加速架构
地理空间大数据服务自然资源调查监测的方向分析
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
功能架构在电子电气架构开发中的应用和实践
CTCS-2级报文数据管理需求分析和实现
LSN DCI EVPN VxLAN组网架构研究及实现
如何运用税收大数据服务供给侧结构性改革
基于频繁子图挖掘的数据服务Mashup推荐