面向城市基础设施智慧运管的大数据智能融合方法

2020-02-04孙婷婷

电子技术与软件工程 2020年12期

孙婷婷

（1.上海城建信息科技有限公司上海市 200126 2.上海市地下空间设计研究总院有限公司上海市 200125）

城市基础设施操作管理中，需要依据各方面数据信息化操作标准，结合数据技术融合方式，制定完备的城市规划，对交通运输线路、设施标准等进行管理，涵盖其实际的建设运营思路，重视设备管理、项目资产的巡检分析，结合养护操作，加强合同收益下的业务分析。重视智慧城市网络建设的推进和发展，结合城市基础设施进行精细化管理，确定需求标准。在大量的实证要素分析下，结合相关的数据确定融合方式，明确解决思路，提供必要的支撑标准。运维操作中，需要涵盖文本、视频、数据流、信息模型等。按照地理信息数据标注，结合相关维度，实施多组数据下的形态分析，确定数据下的维度高度形式，实施多样化管理，制定完备的低密度融合方式。重视数据、失控、冲击等操作的调控。通过多平台下的融合分析，制定合理的监控故障分析记录，对数据融合下的技术不足，融合效率低，数据统计决策差等因素进行判断。综合大数据分析融合，实施有效的数据转换，确定信息知识与智慧城市营养下的规范性管理标准。

1 国内数据信息的融合方式

按照综合聚集型数据转换，加载方式，通过建立完备的架构设计思路，依据可编程、可扩展框架融合标准，确定建模的基础环境。按照ETL 数据流程标准，实施信息开发和利用，但是在实际的操作中模块的开发利用水平低，操作数据水平慢。为了提升数据终端的存储元数据分析，需要映射专项维度下的定义标准，确定可以执行的数据思路方案。逐步减少数据下的各项基础开发维度。按照元数据模型实施批量更新，确定数据仓库表。通过避免数据源发生问题，减少数据仓库的损耗，可以实施逐步的数据增量管理。按照脚本技术要求，确定自动化实施的开发维护方案。按照数据源仓库表进行更新，避免数据源信息的改变，减少数据资源消耗。为了有效的提升数据信息的智能化融合，可以通过ETL 数据建模方式，调整抽象下数据的工具问题。依据数据信息标准，设定ETL 原型工具，确定完整的流程指导思路。但是合计操作中大规模的数据可能产生瓶颈问题，直接影响ETL 的建模，导致数据仓库整合映射产生问题，需要明确其实际的数据预算终端处理标准，做好数据信息的分析更新。

大数据融合操作方式，是依据终端融合领域，按照电信、移动等业务，在数据仓库下设定的模型，重点规范操作流程，对无故障的操作机制、异常处理标准进行分析，判断其中存在融合模型不足的原因和方法。通过总结、归纳、融合、流程化分析等作业，确定设计规范标准，实现ETL 功能的融合。重视城市基础设施的多领域调控，结合时变、高纬度特性等数据进行融合，确定顶级营养领域下的操作思路，实施多项大数据的整合，减少不足缺陷，提升营养平台的多项目融合。通过多模块、多数据的融合，以实现数据的智慧化操作。

城市化设施建设中，重视大数据的融合探究分析，针对不同的设计思路和设计标准，对仓库信息系统进行构架整合，确定框架思路，提出多层次任务ETL，通过划分步骤，对不同层级数据进行分析，确定数据源下的不同标准内容，制定合理的顺序方式。在工作模式、非顺序工作模式下，调整确定ETL 的执行思路，加深框架模拟操作、逻辑建模、物理建模的融合，以实现数据源操作的整合，确定复合数据仓库的终端标准价值，确定映射思路和ETL 业务的场景定义标准要求。

另外，需要利用ETL 数据框架融合方式，依据新数据仓库的信息系统，实施区域划分，确定拆分层次下的任务调度标准，以提高ETL 数据的容错率。通过异构性数据分析，确定临时数据、数据标准、数据操作融合等，以提高ETL 抽取下的阶段要素，结合数据信息进行加载融合，满足不同ETL 下的运行频率操作，提高ETL 的综合灵活调度应用水平，拓展对象，代替传统存储方式，提高ETL 数据框架下的适应度。

2 养护行为的智能跟踪和数据挖掘

随着“智慧城市”的建设理念不断创新，物联网和智能感知技术的迅速发展，智能监控手段不断提升，城市交通基础设施的运营维护中产生了大量的数据。随着GIS、GPS 与BIM 等技术的融合、数据可视化、空间动态信息分析能力的提高，GIS、GPS、BIM 等数据对交通设施运维的作用日益显著。人们希望寻求一种有效的数据采集、存储和管理方法，为交通基础设施的规划、建设、决策、和运维管理提供科学的依据。如何针对公路、桥梁、隧道等交通基础设施，将养护对象的基础数据、检测信息、状态评估、结构退化预测、维护对策和计划等海量数据建立一体化的数据平台，基于大数据智能决策系统，及时为突发事件的应急响应、基础设施的预防性养护和大中修提供决策建议，切实有效地为城市运营安全提供技术保障，已在政府和行业间形成了高度一致的认识。

城市交通基础设施运养大数据平台以打造“智慧养护”为目标，依托大数据+移动互联+云计算+物联网+GIS 技术，打造城市交通基础设施智能运营管理新模式。基于物联网和智能感知设备采集、整合隧道股份各类交通基础设施数据，基于应用平台优化养护资产配置，提高劳动生产率；基于对交通基础设施工作状态的可视化实时监控和预警，实现养护行为的智能跟踪和数据挖掘，通过分析各类资源分布及利用规律，促进设施运营和维护管理的科学决策，同时为排堵保畅、应急救援等公共服务提供支持。

（1）针对多源异构数据的高效存储技术。将基于Nosql 数据库、分布式文件系统等大数据技术研发针对静态设施数据、GIS 数据、BIM 数据、传感器动态采集数据和运养过程产生的数据等类型数据的存储方案从而建设一体化的存储平台。

（2）针对多源异构数据的高效査询技术。将研发统一的查询接口，以及统一接口到相应的数据存储系统的查询映射技术和全局的查询优化技术。

（3）针对交通设施运维养护的多源异构数据的挖掘和分析技术。以运维养护为目标,研发相应的分类聚类、关联规则等针对性的挖掘算法,从而为应用层的具体应用提供决策支持。

（4）大规模运维养护数据的可视化技术。研发海量时间序列数据可视化技术、基于Web 端的BIM 模型可视化技术和运维养护过程的可视化技术。

（5）大规模运维养护相关数据的导入技术。研究静态数据的批量导入技术和动态采集数据的实时接入技术。

（6）基于数据挖掘的交通基础设施安全评价和自动预警技术。根据交通基础设施结构形式特点,建立客观准确的安全评估指标体系,并根据安全评估需求和大数据分析算法,实现实时自动的结构安全分析自动识别结构性能的弱点和风险点,实现评估和实时预警的技术。

3 数据仓库系统框架思路

按照各类设备信息统计分析标准，依据设施融合培养思路方式，结合业务智能化标准，确定数据分析流程。通过仓库数据，建立完备的数据统一形式，以业务支撑为综合数据融合技术，对数据仓库特点和高度进行集成管理，保证基础设施的建设。通过多元化的结构融合，按照非静态数据、静态数据、动态数据、实时数据等要素进行分析。确定数据智能化整合需求标准。通过数据源、信息源、仓库存储源、用户访问框架、技术环境整合数据等操作，确定数据仓库系统的框架思路标准。

按照数据分布式群体，对数据仓库进行系统整合，确定物理实施的操作要素要求。通过数据仓区划分，确定不同区域之间的关系。数据区，是对业内业务的源数据的分析，数据仓是根据相关数据整合，确定数据信息的历史标准，做好组织集中化调控，构建一体化的数据存储形式。经过多覆盖下的数据主题化思路分析，确定实时的数据信息关系，结合数据分类要素，提供数据操作的融合发展，确定存储关系，实施详细化的业务分析，确定多数据的整体调控标准。在数据分析中，通过必要的存储汇总融合，确定实际的分布要素。以准确的ETL 数据信息，对仓储管理要素进行整合，提供必要的操作系统分布转换软件。在数据源、数据仓库之间，架设标准化桥梁，确定数据信息进入到仓库内部。

4 ETL框架设计分析

图1

图2

4.1 框架介绍分析

ETL 框架是以日常业务操作为标准，按照数据转化操作，结合数据仓库存储，分析确定的支配融合数据分析思路。在逻辑分析上，需要确定数据的抽样、清晰、转换、加载等过程。依据框架设计的实际情况，分析数据仓库的综合性能高低要求。传统的框架中存在局限性。ETL 中包含完整的执行操作，但缺乏流程化的划分。缺乏数据临时存储区域关系，为了准确的获取数据异构下的数据源分析标准，需要结合全量数据分析，调整多源下的抽取方式，分析仓库存储区的存库量和负担值标准。

ETL 框架设计中，需要结合核心设计思路，对整个ETL 进行过程分析，通过不同层次下的任务调控，对不同频率的ETL 进行调度。改进ETL 下的框架优势，结合数据仓库系统，分析确定划分数据标准，其中包含临时区、仓储区、数据分类区、分析区。通过完整的数据拆分，确定任务调度范围，结合存储区域下的相关任务执行方式和标准，结合数据确定组织关系，提供必要的数据形态建设要求。数据源并非单一的加载要素，需要结合元数据管控，确定批量异构的数据标准。通过运维大数据分析，对不同数据下的量级差异化要素进行整合，提供不同频率下的数据需求分析标准。ETL需要满足各类业务访问的标准要求，重视ETL数据的灵活运用，加强用户业务的访问分析，确定ETL 数据运作频率，面向用户需求量，提供必要的灵活性。ETL 不限于数据仓库独享，可以对其进行适用范围的拓展，以增加数据仓库终端的展示。

ETL 数据源抽取下的操作中，依据数据终端实施优先链接，确定大概数据开放的互联关系，制定完备的数据库整合思路。通过文件数据传输，约定接口，导出数据，确定文件传输标准。按照实时性的高速数据采集要求，通过必要的数据信息整合集成化操作，在EAI 数据平台下，确定接口服务的传输定义。通过无源数据信息的操作，采取手工录入的方式，可以确定临界数据源标准，缩短多源数据的融合时间，减少数据源的中心负担问题。

ETL 数据的框架是关键要素，依据数据类型进行标准化分析，尽可能的加强系统侧边的数据质量分析，做好清洗和转化操作，以方便后续的数据校验分析。通过二次的核心要素，确定临界解析标准，做好修正、融合、分类、排序等。调整期转换下的仓储布局，确定数据分类标准。数据仓储区下，需要采取3NF 存储结构形式，构建统一的数据模型，对不同的数据进行不同分类存储。

按照数据仓储要素，确定重点要领。通过BI 技术手段，调整概念，确定大概实体数据信息。按照关键绩效指标要素，结合固定实体关键决策，确定管理层需求标准，结合后续的查询、动态报表、联机分析等，制定符合实际数据深层次融合的多维操作方案。

ETL 数据并非是单一的多层次操作过程，而是结合管养融合下的自身特征，确定的符合实际需求的标准。通过多目标系统的数据库融合，增设处理标准环节。通过不同颗粒、数据仓库信息的整合，确定数据库的终端要素，以便更高效的满足实际数据的流程。在ETL 数据信息下，通过多层次、多频率的调度分析，确定任务调控方式。从控制与配置参数入手，分析相关流程的操作批次，确定执行方案。

4.2 ETL工作操作机制

ETL 框架数据分析中，需要依据相关的数据分级、依赖参考机制，分析确定工作流程。按照初始化操作，确定配置资源标准，分析资源库、运行目录、ETL 参数要素工作内容。依据每一个ETL工作流，分析运行的日期和批次。通过ETL 控制未执行流程，需要根据ETL 实施控制，配置参数，生成参数文件。否则需要生成数据批次日期标准。

执行流程操作，按照ETL 数据执行次序，分析确定ETL 各项工作流程。

首位工作操作，依据等待数据工作流，分析更新ETL 数据控制表状态，获取资源库和生成运行日志内容。不同的数据源标准化程度不同。通过框架设计，确定工作模式和标准。其中包含顺序工作模式、非顺序工作模式。顺序工作模式，需要依据临时目标确定保存量，与源数据系统进行业务数据分析，注重数据加载下的数据仓库要素分析，对临时数据与源系统进行一致化操作，增加源系统命名，依据数据表进行标识确定，结合不同时段进行加载数据分析。

5 数据库ETL建模分析

按照数据仓库模型的设计标准要点，通过组建多维数据模型，从不同的角度、不同的思路，分析确定流量环比关系，车型分类标准流量，通行预测信息值等。数据属性中包含项目数据基础，项目编号、公司编号、项目名称等。按照准确的多维数据方案，确定基本ETL 模型设计标准。

按照RTL 数据建模标准，在建模创建过程中，需要确定实际描述的标准字段，结合数据仓库的信息做好数据映射关系。分析流量数据下的元字段数据库，实施标准化、信息化、实时操作化，不断提升数据库下的信息缓存应用。基于标准化的数据特性分析，结合框架顺序确定模式标准，选配ETL 异构标准，抽取存放量数据环节，依据源数据的相关比例水平，调整载入数据仓库的数据值，提供必要的仓储区域和分类区域。

按照逻辑建模的基础标准，从数据抽取相关存储值，通过数据源对数据仓库进行信息流分析，确定其实际的标准概述建模延展情况。通过文字描述确定逻辑关系，依据数据参数，分析组织转换流程，以达到明确的数据清算目标。在物理建模的数据中，依据真实的数据类型，分析确定数据逻辑转换标准，保证其一致性。

6 ETL数据融合信息方法分析

按照数据框架融合方式，从转换模块、工作模块等进行数据转换，确定工作流程的控制标准。ETL 数据框架融合中，需要

确定引入的数据源、开发终端，转换方式，做好全局的参数步骤分析。通过数据流量识别分析图，调整ETL 数据建模，确定可以实现的方式和标准。按照标准输入控件，从数据库源的操作中确定实际数据报表内容，采取合理的增量参数分析，抽取更多的数据信息流量，做好数据排序。依据实际的选择控件标准，调整创建数据属性，确定选择分配方式。在步骤操作中，需要调整记录控件，做好过滤，依据相关的映射步骤，确定属性和思路。通过准确的数据拼接操作，调整确定最佳的数据排序，确定数据流。通过各区域的分组，确定日流量，做好拼接。在合理的典型数据分配中，结合数据库存方式和标准，记录维度，提供合理的维护属性，加强属性控制件要素的标准水平分析，做好更新调控，满足仓库数据的操作目标值。

在控制调度转换中，需要确定执行的顺序标准。通过内置时间调度方式，设定准确的执行任务时间和加载次序。按照控件要素，确定变量和资源库记录方式，结合其中可能存在的错误信息，判断执行，做好定位和优化。