王洪彬， 王纯

(1 北京邮电大学网络与交换技术国家重点实验室， 北京 100876；2 东信北邮信息技术有限公司， 北京 100191)

异构调度环境下ETL工作流监控系统的设计与实现*

王洪彬1，2， 王纯1，2

(1 北京邮电大学网络与交换技术国家重点实验室， 北京 100876；2 东信北邮信息技术有限公司， 北京 100191)

本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象，采用增量抽取和跟踪监控对象的方式，通过网络消息传送将监控对象加载到监控数据中心并统一管理，实现了分布式ETL工作流在异构调度环境下的的全局监控，提高了数据恢复能力和仓库的数据质量。

数据仓库；分布式ETL；Oozie；调度监控

随着计算能力和网络存储能力的不断提高，传统的数据存储和数据处理能力已经无法满足大数据的服务需求。数据仓库作为一种大数据平台基础和关键组成部分，被广泛应用在数据挖掘和分析领域。数据仓库在整个大数据生态系统中通常承担数据源的角色，所以数据仓库的质量直接影响着整个决策支持系统的服务质量。

ETL（Extraction Transformation Loading)作为数据仓库构建的核心组件，贯穿于数据从产生到消亡的整个生命周期，从数据源的抽取、转换，再到数据加载入库，直到数据被消费的整个过程都需要通过ETL来完成的。目前多数系统根据各自业务的需要将ETL能力分布在不同的节点上，各个节点的ETL工作流在各自不同的调度环境下完成不同的功能，所有节点相互协作共同完成数据仓库的构建。……