叶敏

【摘要】ETL是“Extract”，“Transform”和“Load”3个单词的首字母缩写，是数据抽取、转换、装载的意思，一般将ETL简写为数据抽取。ETL是构建数据仓库和数据挖掘的很重要的一部分。本文通过介绍ETL技术架构，分析常见ETL工具，讨论了ETL技术对商业领域的意义。ETL技术很大程度上提高了数据输入的质量，为大数据分析和数据挖掘提供巨大的支持。

【关键词】ETL 数据抽取 数据仓库

数据信息是现代企业的重要战略资源，是企业进行科学决策和分析的基础。如今，大多数企业用大量的时间和资金来构建事务处理OLTP的业务系统和办公自动化OA系统，用来记录事务处理的各种相关数据，有太多的潜在价值数据没有得到合理利用。企业如何通过运用各种信息技术手段，把数据转换为有用的信息和作为决策依据，已经成了提高其核心竞争力的主要瓶颈。ETL则是主要的一个技术手段，为企业进行大数据分析和数据挖掘提供重要的支持。

一、ETL体系架构

下图为ETL体系结构，它是主流ETL产品框架的主要组成部分。ETL是指从源系统中提取数据，转换数据为一个标准的格式，并加载数据到目标数据存储区，通常是数据仓库。

（一）数据抽取

数据抽取就是从外部不同的数据源中抽取数据，需要确认数据的来源和以及将到的数据抽取技术。数据抽取分为数据增量抽取和全量抽取。增量抽取一般有4种抽取模式：①时间戳方式：通过比较需要抽取的数据库系统时间戳与抽取源表的时间戳字段的值来决定抽取哪些数据，这种方式需要源表中存在一个或多个时间戳字段，并且其值随着新纪录的增加而不断增加，执行数据抽取时，程序通过时间戳对数据进行过滤，抽取设定的时间戳的数据；……