浅谈石油勘探行业数据湖建设中的数据治理问题
2021-11-22张芸
中国管理信息化 2021年9期
张 芸
(大港油田信息中心,天津 300280)
1 背 景
1.1 数据湖
随着大数据技术的发展,单一的数据形式不再满足人们对数据利用的需要,多种多样的数据以不同的形式存储起来,有数据表形式的结构化数据,有图像、视频等非结构化数据,还有具有时间规律和标签的时序数据。多种多样的数据形式,让结构化数据存储方式不再满足人们的需求,数据湖的概念开始兴起。
数据湖(Data Lake)这个术语由Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出,他对数据湖的定义是,可以把所有的数据都放入数据湖中,应用数据时定义它的数据结构。也就是说,对于存储的数据,数据湖并不定义它的数据类型,这样数据湖就可以存储各种类型的数据,并且通过统一的存储,让不同的数据都有相同的存储方式,而在数据应用的时候定义其数据结构,让应用方便连接到数据湖上获取数据。
目前,在通用行业中的数据湖建设多和大数据平台Hadoop 结合,利用其开源、组件丰富、分布式存储、并行处理等特点,来实现数据湖定义中的存储多种类型的数据方式。
目前市面上常见的数据湖产品有微软的Azure Data Lake、IBM 的数据湖产品、灵雀云数据湖等相关产品。
1.2 石油勘探行业的数据湖建设
面对新的数据湖技术,结合石油勘探行业的数据特点和自身需求,石油勘探领域的数据湖建设正如火如荼展开。
2018 中国石油梦想云一期建设已完成,在二期的规划中将遵循“两统一、一通用”原则,上游信息总体架构由数据源、数据湖、基础底台与服务中台、应用前台和门户入口组成。……
登录APP查看全文
