基于Data Vault的交通行业数据仓库设计
2021-05-20陈成伟
西部交通科技 2021年4期
韦 扬,陈成伟
(1.广西交通运输信息管理中心,广西 南宁 530029;2.广西交通设计集团有限公司,广西 南宁 530029)
0 引言
当前社会已经从信息技术时代发展进入数据技术时代。数据,已经渗透到每一个行业和业务职能领域,成为重要的生产因素。虽然交通运输行业信息化建设起步较早,已相继建成很多业务系统,但缺乏较好的顶层设计,各个系统各自为战,导致出现重复投资、信息孤岛等问题。为解决交通运输行业信息化的痛点、难点,同时顺应数据时代的发展要求,本文以广西交通运输厅现行业务系统的历史数据和实时数据为基础,首先介绍数据仓库模型设计常见方法及问题,进而提出使用Data Vault建模方法,尝试构建以可追溯、易扩展为特点的交通运输行业数据仓库。
1 数据模型设计
数据模型是数据的组织和存储方式,它是整个数据仓库设计的核心。一方面,数据模型是ETL的目标结构,ETL的设计是基于数据模型而开展的;另一方面,数据模型是数据分析的基石,决定了报表逻辑以及机器学习等数据挖掘工具的数据输入格式。数据仓库建模方法主要有范式建模(关系模型)和维度建模(多维模型)。
范式建模源于Inmon提出的集线器式自上而下的数据仓库架构。关系模型通过使用关键字和外键在不同行的数据间建立关联,关系型数据以使数据分解成非常低粒度的标准化的形式存在,以标准化程度的不同可以分为:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)等。
维度建模源于Kimball博士提出的总线式自下而上的数据仓库架构,多维模型也称星型连接。……
登录APP查看全文
