汪 洋，韩 宁

(中国软件与技术服务股份有限公司，北京 100081)

基于开源代码的ETL工具的实现

汪 洋，韩 宁

(中国软件与技术服务股份有限公司，北京 100081)

在企业数据愈加庞大的今天，大批量数据交换也越加频繁，ETL是数据处理的主要技术手段，但极少有ETL工具能够兼顾自动调度及跨网段交换。在开源ETL工具Kettle的基础上，设计实现能够定制触发规则、根据调度周期自主运行交换作业的数据交换工具GoData，该工具支持跨节点跨网段的数据交换作业，同时具有节点监控及错误作业预警和消息推送功能，支持集群和分布式部署。该工具极大地满足了企业对数据交换业务的需求，在企业合理和充分利用现有数据资源方面发挥作用。

ETL；Kettle；GoData；跨网段数据交换；自动触发

0 引言

随着互联网技术的快速发展，企业内业务应用数量猛增，业务数据更是与日俱增，越来越多的企业在面对众多业务系统产生的日益庞大的业务数据时，显得束手无策，疲于应对。其原因大多在于企业内部信息化建设并没有形成统一的标准，各厂商、各系统、各层级间数据形态各异，无法实现互联互通数据共享，从而形成“信息孤岛”。而信息是现代企业的重要资源，是企业科学管理、决策分析的基础。因此，打破“信息孤岛”，实现数据高效集成和共享是企业数字信息化建设的关键问题。企业需要通过各种技术手段，把数据转换为信息、知识，最大程度地发挥数据的作用，而ETL便是主要的技术手段。

当前企业信息建设普遍存在以下问题：