赵子健+褚伟波

摘 要 商业智能（BI）分析对于大型装备制造企业非常重要。BI通常要有质量较高的数据仓库为支撑，而ETL（数据抽取、转换、装载）是构建整个数据仓库的核心和灵魂。本文通过对ETL技术在大型装备制造企业的应用研究，详细阐述了ETL的应用过程，并以实例说明了其带来的应用价值。

【关键词】数据仓库 ETL 应用过程 价值

1 ETL介绍

1.1 ETL相关概念

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗和加工，最终按照预先定义好的模型，将数据加载到目的数据仓库中去，做各种商业智能分析或者用于主数据管理体系。具体来讲：

1.1.1 数据抽取

将数据从各种原始的业务系统或者非结构化文档中读取出来。

1.1.2 数据转换

按照预先设计好的规则将抽取得数据进行转换、清洗、加工，统一抽取的数据格式。

1.1.3 数据装载

将转换完的数据按制定的规则增量或全部导入到目的数据仓库。

1.2 ETL的重要性

在互联网和大数据飞速发展的当今时代，越来越多的企业已经认识到了数据将是企业的核心资产，能够为企业创造新的价值。这些能够为企业带来价值的数据都需要经过从各种原始的数据采集而后加工分析得出，因此前提是要构建企业的数据仓库，而在构建数据仓库过程中，数据的抽取、转换、装载（ETL）是最重要也是最花费时间和人力的，往往占整个项目的60%以上的工作量，而ETL的成败将影响整个数据仓库构建的成败及数据质量，因此ETL的关键作用也决定了其在数据仓库构建过程中的核心地位。

2 ETL的应用过程

ETL的应用过程按照大的步骤分为数据的抽取、转换、加载三个过程，但实际在应用过程中往往要经历数据源的识别、数据模型建立、数据清洗和加工、流程设定、运行跟踪五个过程，见图1。下面将结合Informatic 的ETL工具 PowerCenter 进行详细阐述整个应用过程。

2.1 数据源识别

ETL首先要进行数据源的识别，数据的来源有多种多样，可以是数据库、文件或消息等，目前在大型装备制造企业中用得较多的是数据库。数据库的数据源中存储了所有建立数据库连接的信息，就像通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，就可以找到相应的数据库连接，见图2。

2.2 数据模型建立

定义了数据源和目标数据库后，数据模型的建立过程在PowerCenter中是映射的建立过程，描述源和目标之间数据流的映射关系。映射界面是基于组件的，需要向映射中添加转换，用以描述在载入目标之前如何提取和转换数据，见图3。

2.3 数据清洗和加工

根据业务逻辑筛选出需要的源数据并对这些数据进行处理，形成符合目标数据标准的数据，PowerCenter提供了一系列的功能函数供用户构建相关的表达式及字段组合及拼凑字符串等各类数据加工手段，帮助完成数据清洗和加工工作，见图4。

2.4 流程设定

从源数据转换成需要的目标数据是一个复杂的过程，往往需要经过设置多个数据清洗和加工逻辑，同时将这些不同的逻辑按照一定的顺序执行，即形成数据转换的流程，每个流程都是一个指令集，指示如何执行任务，可以在一个流程中加入多个任务，以同时或依次运行任务。PowerCenter可以利用工作流中配置的指令运行任务，见图5。

2.5 运行跟踪

流程设置完毕后需要运行，需要使用 Workflow Monitor 监控流程的执行情况。Workflow Monitor 是一个监控流程和任务的工具。可以使用甘特图视图或任务视图查看流程或任务的详细信息。在 Workflow Monitor 中可以启动、停止、中止或继续流程，见图6。

通过上述的5个步骤，完整的实现了从数据源的识别到最终转换成目标数据的过程。

3 使用ETL带来的价值

ETL的成功应用将为企业带来巨大的价值，从作者供职的大型装备制造企业中主要体现在两个方面：

3.1 内部业务系统的数据集成

由于各种原因，企业的生产物资系统数据库采用分布式部署，每天需要将分布在全国各地20多个数据库的数据约2200多万条物资采购和使用数据集中汇总至总部进行整理分析，应用ETL技术后，数据采集和清洗的效率、准确性和系统性能大幅提高，同时简化了整个数据汇总分析的过程。

3.2 大型装备工况数据的采集分析

企业生产的大型港口机械装备遍布全球码头，每台设备上都装有起重机管理系统，这些设备的故障、旁路、工作循环等各类工况数据都会存入起重机管理系统，由于用户的要求不同，系统使用的数据库各不一样，数据项也会略有差异。企业需要收集这些设备的工况数据到内部的云平台上汇总分析并为用户提供主动性服务，而ETL技术在设备工况数据的采集、清洗加工和汇总分析等应用上发挥了巨大的作用。

4 应用ETL的注意事项

（1）在选用ETL工具时要注意必须拥有以下几个功能：处理海量数据、能够将数据以最快地速度从一个地方转移到另一个地方；实时监测交易的变更，并对数据进行同步；能够处理多种数据类型，包括文本、非结构化数据等；利用多处理进行分布式操作以及并行处理。

（2）进行ETL之前应制定统一标准协议，同时拥有数据模板是非常重要的，它们是标准化的接口，确保你的数据转换按照统一的标准协议和模板进行。

（3）注意流程的合理调度运行时间，由于目标数据的转换通常需要经过多个流程从多个数据源获取，在进行流程运行的时间调度时要合理安排流程执行的时间和顺序，避免大量的并发执行，最大限度的优化和提升整个ETL的效率。

（4）要注意定时跟踪ETL流程的运行日志，防止各類错误引起的运行错误，并根据日志对ETL进行优化。重点可关注错误日志和执行过程日志，错误日志记录着每次出错的时间，出错的模块以及出错信息等，可用来排错。执行日志是ETL执行过程中每执行一步的记录，记录每次运行每一步骤的起始时间，影响了多少行数据，可以用来做ETL的效率优化。

5 结束语

ETL是构建整个数据仓库的核心和灵魂，对于大型装备制造企业，如果能够规划和设计好ETL的使用，同时结合云计算及大数据的分析和处理平台，不管是对于企业内部业务系统的有效集成，为管理层提供高效的商业智能分析，或是结合大型装备产品进行工况数据的采集分析，为使用者提供更多的增值服务，都将起到至关重要的作用。

参考文献

[1]Informatica PowerCenter 使用入门（版本 7.1.1）.美国：Informatica 公司，2004.

[2]张蓓，赵莉.浅谈数据仓库中ETL的重要性[J].科技信息：科学·教研，2008.

[3]Derick Jose，孙瑞选择ETL工具时的三个注意事项.TechTarget中国 2012.

[4]张宁，贾自艳，史忠植.数据仓库中ETL技术的研究[J].计算机工程与应用，2002.