基于Kettle数据传输与同步方法的研究
2021-05-17郭德卿徐国强李娜
汽车实用技术 2021年8期
郭德卿,徐国强,李娜
(中国汽车技术研究中心有限公司 中汽数据(天津)有限公司,天津 300300)
引言
随着数字时代的到来,数据科学技术不断发展,社会各行各业都越发地重视数据,数据使得行业间更加密切,企业对数据需求的及时性也相应提高。基础数据点对点传输、数据更新同步则尤为重要。
数据传输和同步的方法多种多样,本文将介绍以Kettle作为工具的一些使用方法。
Kettle是一款开源的ETL工具,主要用来完成数据的抽取,清洗、转换和加载等数据处理方面的工作。Kettle不仅提供了简单明了的图形界面,它的流程式设计也非常方便易用。功能特点方面,Kettle支持全面的数据访问及多平台部署,拥有优秀的插件架构扩展性,经过长期的优化升级,全面实现高效稳定的数据处理[1]。
1 Kettle作业和转换
Kettle的控件包含两个部分,即作业(Job)和转换(Trans-form)。
作业属于步骤流,是将若干独立的步骤,按照先后的执行顺序形成一个工作流。生活中大部分事务都可以形成工作流,比如我们冲咖啡这一举动,需要经过以下步骤:烧水、准备咖啡杯、倒入咖啡,开水冲泡。每个步骤有着先后顺序,按照顺序组合后,就完成了冲咖啡的举动。Kettle作业原理也是如此,作业中的每一个步骤,都必须等前面的步骤执行完毕,后面的步骤才会执行,如此待完成全部步骤后就完成了此作业。
转换属于数据流,是指从输入(Input)到输出(Output)之间的数据流动,针对的是在数据流动过程中的每一条记录的处理,比如通过一定逻辑的输入,经过转换,再输出为我们想要的数据。……
登录APP查看全文
