张孟春

摘要：针对数据分析融合平台建设中数据集成开发效率低、数据集成慢和数据网络分散等问题，提出跨网络传输的分布式ETL框架设计。通过对主流ETL工具进行分析，总结了ETL的工作原理及过程，设计了一种基于消息中间件面向数据集成的分布式ETL框架。使用该框架处理数据集成任务时，提交数据集成过程的描述文件进行数据处理。基于元模型驱动和面向切面设计思想，设计数据任务执行引擎和控制模型。基于该框架开发的工具可使数据开发人员从大量重复的数据操作中解脱出来，将更多精力放在数据的逻辑处理上。

关键词关键词：数据集成；分布式； ETL；消息中间件

DOIDOI：10.11907/rjdk.171780

中图分类号：TP391

文献标识码：A文章编号文章编号：16727800（2017）011019703

0引言

ETL是构建数据仓库的重要工具，构建数据仓库60%左右的工作量由ETL工具完成。ETL工具从一个或多个业务数据库中抽取数据，经过清洗转换，然后加载到数据仓库中。随着信息化建设的深入，企业和政府深层次利用数据进行数据挖掘和信息共享成为急需解决的问题。一般数据多采用上下级代理方式，数据分散在各地方和部门，这种数据集成需要跨网络传输。如何从网络分布的异构数据源中快速构建数据仓库，是数据集成面临的关键问题。

相对于传统的ETL，数据集成领域的ETL需要解决复杂的网络环境、集成效率、性能需求等问题。本文采用消息中间件作为数据通信总线，屏蔽网络底层通信协议和网络环境差异。使用基于元数据架构的ETL作为分布式ETL数据处理节点，设计了分布ETL工具并实现了子节点。……