林昆

摘 要：阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位，提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心，利用元数据保存记录ETL流程的信息，创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射，并初步实现了对大数据环境数据抽取的支持，从而构建了一个具有良好可扩展性和开放性的ETL系统。

关键词：数据仓库;ETL;工作流引擎;元数据管理

中图分类号：TP311.1

文獻标志码：A

1 引 言

数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持经营管理中的决策制定过程[1]。服务于商业智能的数据仓库的成功实施，体现着对新的观念和解决方案日益增长的需求[2-4]。数据仓库的数据源自于不同的业务系统，这些数据的异构性、空缺或冗余等问题是制约数据仓库数据质量的重要因素[5]。此外，供决策使用的数据仓库的数据是统计性数据，而来自日常系统的细节数据的简单堆砌无法满足商业智能的要求。

数据仓库化建设作为建立数据仓库的必要步骤，通常需要建立从数据源到数据目标的多对一的映射关系，ETL（Extraction-TransformatiorrLoad，抽取一转换一加载）工具提供一个方便使用的仓库化建设方法，使用户可以有效的构建从异构数据源到数据目标的映射关系。

2 ETL相关概念

ETL，即数据抽取（Extraction）、转换（Trans-formation）和加载（Load），是构建数据仓库的必要步骤。数据管理员根据实际需求，定义特定的映射关系，实现从业务系统数据源到目标数据仓库的迁移，并在迁移过程数据完成了必要的转换和清洗，如图1所示。……