陈柯宇，吕昕蓓，孙 韵，秦 超

（中国石油西南油气田分公司通信与信息技术中心，四川 成都 610051）

0 引言

西南油气田分公司经过多年的信息化建设，积累了大量的系统与数据，目前面临着“信息系统多、数据库多、孤立应用多”的三多局面，亟需开展数据湖的建设，实现A1、A2、A4、A5等统建系统和勘探开发成果数据采集系统、作业区数字化管理平台、页岩气共享平台等分公司核心自建系统的共享数据和油田特色数据入湖，打破数据壁垒，实现数据共享，并与集团总部主湖构成连环湖架构，最终实现和主湖数据逻辑统一、分布存储、互联互通、就近访问的目标。

1 技术方案

1.1 结构化数据入湖

结构化数据共享存储采用MPP（大规模并行处理器Massively Parallel Processor）数据库技术，能够将任务均衡分解到多个节点同时进行运算，有效的解决了大规模的数据作业计算，缓存和IO带来的性能问题[1]。

结构化数据入湖前需要先开展数据模型的建设和主数据入湖。各数据源系统的数据通过ETL工具，汇聚到数据湖的贴源层，在贴源层进行归一化处理后，数据推送至数据治理区，进行业务质控审核，审核通过的数据进入到共享存储层，再推送至分析层，实现数据入湖。

图1 结构化数据入湖

1.2 非结构化数据入湖

数据湖中非结构化数据存储，采用基于S3（简单存储服务Simple Storage Service）标准协议的软件定义分布式文件存储架构，主湖主控保证逻辑统一，用户基于统一的RESTful服务访问文件内容，支持软件定义数据多镜像与就近访问，满足地震等大块数据存储与高效应用[2]。……