APP下载

中国(厦门)国际贸易单一窗口领导驾驶舱的应用研究

2023-12-15吴志强

中国信息化 2023年11期
关键词:驾驶舱数据仓库数据库

文|吴志强

一、背景介绍

在当前单一窗口业务及系统建设繁多复杂的背景下,如何对其有效分层、整合、串联、高效应用,是当前信息化项目探索方向之一。本文以厦门口岸领导驾驶舱建设为例,展示驾驶舱项目的关键技指标管理、数据仓库、即席分析等关键技术手段,说明大屏页面、物流链时效、数据汇聚、GIS地图等各核心模块的划分逻辑,展望后续项目规划。

二、总体设计

领导驾驶舱是在考虑用户类型和使用场景下,为实现单一窗口业务下各部门领导对全业务链条及各环节的快速把控要求进行的设计。其架构上连通各系统,提供相关的管理工具及素材库,满足随业务融合发展而在功能及展示方面出现的新需求。

图1 驾驶舱架构图

(一) 架构设计

架构层级主要包含如下几个。

硬件资源层——调用单一窗口融合已有计算、存储、网络资源,实现资源最大化共享共用,支撑平台整体运作。数据库层——按业务专题及系统功能等要求形成各类数据库,包含专题数据库、数据仓库、业务数据库、共享库、交换数据库,在此基础上管理开发,形成共性数据集市并提供服务。服务支撑层——包括消息服务、移动支撑、任务调度、统一工作流、日志服务等。应用层——用户可接触的展示内容及应用功能,如全景展示、物流展示、数字综保区等。接入层——包含PC端、大屏。用户层——包含政府领导及相关权限的人员。

(二)数据设计

驾驶舱系统的数据是从外部数据源中采集入库,数据在清洗后根据指标设计体系将数据分类形成各类数据库,将数据写入库中,用于展示及分析,包含数据的采集和清洗。数据采集包含数据来源与采集频度。数据来源是根据数据的准确性、实时性、完备性等方面综合考量后选择数据来源。领导驾驶舱项目中,电子口岸大数据基础平台、海关、电子口岸业务系统分别提供不同维度的数据内容。采集频度是依据统计指标实时性强弱的要求进行设置,常用有年度、月度、每日、实时同步。数据清洗用于保证数据质量及可用性,需根据具体的数据和项目需求,采用不同方法。领导驾驶舱项目使用了缺失值、异常值检测、数据去重等方式做数据清洗。

(三)指标设计

1.指标管理

指标管理是对指标全生命周期管理。应用该体系可实现血缘关系分析、数据跟踪溯源,明确数据关系,满足不同统计口径需求,实现数据变迁历史及路径跟踪,保持指标的一致性和有效性。

2.阈值管理

用于定义和管理指标的数据阈值,确保数据的准确性和可用性。包括上下限阈值、三色标展示状态、设置预警逻辑,协助对应潜在风险。该方法用于确保基础业务数据和数据仓库的实时变更的联动性和一致性,从而适应未来的系统变化,更好地满足业务需求。

3、 关键技术

指标管理:包含指标体系、审核、发布、管理、启用、停用、变更、关联、指标应用。在此管理体系下,首先会对数据类型、层级、指标设置、粒度等一系列内容的定义形成指标体系,接着对通过审核对指标的完整性、准确性审核,判断相关数据的可应用性,指标的层级、分类是否合理,并审核通过后发布。指标将在创建或修改后通过审核发布后被启用,其他应用可在该体系下查询或使用数据。数据体系指标发生变动时可通过发布新版本更新,旧版本及变更记录形成历史版本在系统进行管理,可作为一列记录进行查阅。指标体系使用过程中,需先启用上线,下线前需先停用指标及指标体系。在运行过程中,如果需要对关联关系、计算关系、计量单位等进行整体变更,可通过整体的版本迭代保证体系可用性。

数据仓库:数据仓库是一种用于集成、存储和管理企业数据的关键技术,旨在支持数据分析、决策支持和业务智能。在驾驶舱项目中,数据仓库用于存储数据分析主题数据,获取业务原始明细数据,依据不同的业务分析需求,形成各类分析主题数据库及数据分析专题库。并在此基础上,形成统计分析仓库、分析立方体模型库以及存储统计分析结果的指标数据库和提供查询的数据集市。同时,系统将分析结果输入到ADS数据层,为数字驾驶舱内各类专题提供查询支撑。数据仓库关键环节包含:ETL、数据建模、数据仓库管理系统、数据质量管理、数据查询和分析、数据查询优化、数据安全、数据备份及恢复、数据集成、数据挖掘分析工具。

即席分析:即时分析是一种重要的数据分析方法,旨在满足即时、非结构化和未预先定义的数据分析需求。涉及关键技术包含数据存储和处理、OLAP分析、数据可视化、搜索技术、数据挖掘、预测分析。其中,数据存储和处理包括数据仓库、数据湖、NoSQL等。OLAP分析是一种常用的即席查询和分析技术。它使用一个多维模型来理解和分析数据,将数据划分为多个维度并按照这些维度来聚集、汇总和展示。数据可视化用于将数据转化图形表示形式。搜索技术用于信息的高效查询搜索及结果反馈,常用技术包括文本搜索、自然语言搜索和语音搜索等。数据挖掘用于从大规模数据中挖掘出知识和关系,常用技术包括分类、聚类、关联规则、异常检测等。预测分析用于数据和模型来预测未来趋势和结果的技术,常用的预测分析技术包括回归分析、时间序列分析、机器学习等。数据安全为即席分析使用敏感数据进行分析和查询,数据安全措施包括身份认证、访问控制、数据加密、审计和监控等。

四、核心功能设计

本章以中国(厦门)国际贸易单一窗口领导驾驶舱项目为例进行说明展示。

(一)大屏页面设计

大屏是以现有业务内容划为五屏:口岸全景展示、数字综保、数字海港空港、海运物流、空运物流。大屏以中间地图、左右两侧仪表板为基本结构;采用总分结构,逐级明确的设计思路;使用两侧数据与地图关联互动模式的互动模式。以空港海港数据指标展示为例,地图上以厦门为中心展示海空航线路径、交通工具数量、贸易额等数据,可关联左右两侧统计图表数据,针对不同区域、时间、计算维度进行图文结合的展示,使该指标从结果、过程、变化趋势一眼可知。

(二)物流链设计

物流链以链条形式展示,物流各环节使用相邻节点之间采用三色标展示时效,单节点业务数据使用数字加图表展示。整体情况及异常时效一目了然。如物流正常节点可显示绿色,当超出正常时效范围,在展示当前时效时使用黄色进行预警,当远超出预警阈值,展示内容变为红色进行警告。

(三) 数据明细获取方式设计

考虑到口岸业务扩展性及应对需求变更等因素,数据获取在设计时采用以明细抽取并存储至数据仓库的形式,可快速实现用户对数据变动需求的操作。 例如,在统计进出口贸易时,大部分情况展示指标为业务单量、货值,若后期需求变动,使用抽取展示汇总数据这一方案,则需重新开发服务接口,而采用抽取并存储数据明细至本地的方案,则能快速统计货物的重量。

(四) GIS多维度展示

在全景展示、数字综保区、数字海港空港等场景下,引入GIS地图,将其与业务数据联动,提供更加直观的观看体验,使用户更好地理解和分析地理数据与业务数据的关联。在全景展示模块,可通过切换物流方式及区域划分维度的选项形成不同条件组合,将数据结果展示在GIS地图上,用户可直观了解口岸业务的整体面貌及业务动态。

五、总结展望

厦门单一窗口数据驾驶舱项目从用户业务实际需求出发,整合现有系统及数据资源,划分业务场景,梳理业务链条,形成围绕驾驶舱展示、应用、管理的综合数据集市。在减少业务人员的工作量和提供准而全的数据图景方面提供了有效支撑。后续,领导驾驶舱项目将在已有基础上持续优化,进一步提高灵活性、易用性、满足个性化的展示及分析需求。

猜你喜欢

驾驶舱数据仓库数据库
基于数据仓库的住房城乡建设信息系统整合研究
跟踪导练(三)
数据库
分布式存储系统在液晶面板制造数据仓库中的设计
探析电力系统调度中数据仓库技术的应用
走进客机驾驶舱
跟踪导练(四)3
数据库
数据库
数据库