APP下载

浅谈石油勘探行业数据湖建设中的数据治理问题

2021-11-22张芸

中国管理信息化 2021年9期
关键词:数据库质量系统

张 芸

(大港油田信息中心,天津 300280)

1 背 景

1.1 数据湖

随着大数据技术的发展,单一的数据形式不再满足人们对数据利用的需要,多种多样的数据以不同的形式存储起来,有数据表形式的结构化数据,有图像、视频等非结构化数据,还有具有时间规律和标签的时序数据。多种多样的数据形式,让结构化数据存储方式不再满足人们的需求,数据湖的概念开始兴起。

数据湖(Data Lake)这个术语由Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出,他对数据湖的定义是,可以把所有的数据都放入数据湖中,应用数据时定义它的数据结构。也就是说,对于存储的数据,数据湖并不定义它的数据类型,这样数据湖就可以存储各种类型的数据,并且通过统一的存储,让不同的数据都有相同的存储方式,而在数据应用的时候定义其数据结构,让应用方便连接到数据湖上获取数据。

目前,在通用行业中的数据湖建设多和大数据平台Hadoop 结合,利用其开源、组件丰富、分布式存储、并行处理等特点,来实现数据湖定义中的存储多种类型的数据方式。

目前市面上常见的数据湖产品有微软的Azure Data Lake、IBM 的数据湖产品、灵雀云数据湖等相关产品。

1.2 石油勘探行业的数据湖建设

面对新的数据湖技术,结合石油勘探行业的数据特点和自身需求,石油勘探领域的数据湖建设正如火如荼展开。

2018 中国石油梦想云一期建设已完成,在二期的规划中将遵循“两统一、一通用”原则,上游信息总体架构由数据源、数据湖、基础底台与服务中台、应用前台和门户入口组成。……

登录APP查看全文

猜你喜欢

数据库质量系统
Smartflower POP 一体式光伏系统
WJ-700无人机系统
ZC系列无人机遥感系统
做梦导致睡眠质量差吗
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
数据库
数据库
数据库
质量投诉超六成
数据库