翁世清　杨多龙

［摘要］ 通过自定义custom组件嵌入DataStage作业，实现跨区域DataStage作业间的批量数据以数据流方式交换，加快数据交换处理效率。

［关键词］ 自定义组件 数据流 交换

引言

随着银行业的竞争越来激烈，商业银行对数据的分析需求越来越多，系统与系统间的数据交互活动越来越频繁，这就要求商业银行构建批量数据交换平台以满足日益迫切、日益频繁的批量数据交换需求，而如何更有效地进行批量数据交换是商业银行数据交换平台面临的难题之一。本文引入数据流处理技术，探讨商业银行批量数据交换的实现方法，以希望能破解该难题，为商业银行批量数据交换提速，更好满足市场分析需求。

一、批量数据交换平台的现状及问题

在批量数据交换平台中，众多银行选用ETL（Extract：数据抽取，Transform：数据转换处理，Load：数据加载）工具进行。目前IBM公司的DataStage是较为普遍采用的ETL加工工具，很多银行都采用DataStage实现ETL数据加工。本文的研究对象就是以DataStage为基础的。目前DataStage作业（为实现数据抽取、转换处理、装载功能而用DataStage设计的一些作业，每一个作业实现一定数据的抽取、转换处理、装载功能）与作业间的数据交换不易实现流水线方式（即前一作业与后一作业同步进行数据的处理，数据在前后DataStage作业间的流动是流水线式的），往往是前一个作业处理好一整份数据（如一个文件或一个数据表）后交由后一个作业处理，尤其是前后作业处于不同区域（如不同的系统、不同的地域）当前，以总分行为例，总行与分行的DataStage 作业之间进行数据传输离不开数据的落地操作。……