APP下载

基于Kafka、Disruptor技术对传统ETL的改进

2018-11-22梁正和吴莹莹

计算机技术与发展 2018年11期
关键词:实验系统

王 梓,梁正和,吴莹莹

(河海大学 计算机与信息学院,江苏 南京 211110)

0 引 言

大数据时代的到来,信息已成为各行各业发展的决策依据。世界计算机数据信息总量海量增长,已经有越来越多的企业、教育、科研机构和生厂商们意识到这些数据中所包含的重要价值,ETL的发展已成为必然趋势[1]。企业在使用各种应用系统期间往往积累了大量的信息、数据资源,计算机技术的快速发展使用户可以对这些信息进行采集、分析、处理,它们成为了企业发展的决策性依据,构成了企业发展的宝贵财富。随着时间的推移,技术的进步,原有旧系统不断升级从而被新系统完全取代,在此使用期间往往会积累大量珍贵的历史数据,这些数据也是新系统成功启用的关键。同时,这些从旧系统到新系统使用过程中的历史数据也是企业进行决策发展,制定战略方向的重要依据。

如今,随着数据的大量累积,越来越多的企业、厂商都在构建数据仓库(data warehouse)来满足企业在发展过程中的战略需要,他们需要将这些可能来自不同的软硬件平台、操作系统、数据模型乃至地理上分布、管理上自治和模式上异构的数据源进行集成。一个或多个不同数据源的相关数据可以进行综合集中放入数据仓库[2],在数据仓库中可以针对不同的主题和汇总数据进行统计和分析,从而为决策人员提供数据支持。在构建数据仓库的过程中,首先需要将各种分布的、异构的数据源中的数据抽取出来,在此过程中进行清洗、转换、集成最后加载到数据仓库中,这个过程叫做抽取转换装载即ETL(extraction transformation loading)[3]数据迁移。……

登录APP查看全文

猜你喜欢

实验系统
记一次有趣的实验
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
基于PowerPC+FPGA显示系统
做个怪怪长实验
半沸制皂系统(下)
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
NO与NO2相互转化实验的改进
实践十号上的19项实验