郭以东 马建国 余 洋 何晓梅 李 峻

(1 中国石油勘探开发研究院西北分院；2 中国石油勘探与生产分公司)

0 引言

中国石油作为国家特大型能源央企单位，一直以来都高度重视信息技术发展对各业务的积极促进作用。针对各类业务管理模式和业务范畴，构建了服务于各层级的较为完整的信息服务支撑体系，相继建成了勘探与生产技术数据管理系统（A1）、油气水井生产数据管理系统（A2）、采油与地面工程运行管理系统（A5）、勘探开发一体化协同研究及应用平台（A6）、勘探与生产调度指挥系统（A8）、油气生产物联网系统（A11）、勘探与生产ERP 系统（D2）[1-3]、公共数据编码平台（D15）、健康安全环保系统（E1）、节能节水管理系统（E7）、信息安全运行中心（F14）等信息系统，各信息系统的建设对企业开展能效对标、挖掘节能降耗潜力、提高能源管理效率等发挥了积极作用，极大地促进了能源科学化和管理精细化。

但是，各系统在建设初期由于所服务的业务部门不同、业务管理边界存在交叉重叠，同类数据在统计口径、粒度、精度、时效性及元数据定义标准上均表现出不同的差异，导致系统运行过程中出现同类数据来源不统一、标准不统一、精度不一致等诸多问题，给业务管理和上层决策造成一定困扰。如果能够合理地利用多源数据对元数据进行数据源确权和相关性汇集融合，打通业务部门和系统之间的管理壁垒，建立业务所需的专业数据库，解决好数据准确性、完整性、一致性和业务满足度的校验及数据二次加工丰度的扩展[4-6]等问题，那么就能够实现数据整体质量的显著提升和有效管理，促进各管理部门、多学科专业人员的协同工作与高效决策。本文以油气田企业能效数据融合为切入点，展开多源能效元数据融合研究工作，形成相应的研究方法并具体应用。

1 能效数据多源现状与融合必要性

油气田能效元数据是企业在勘探、开发、生产与集输过程中的各类生产管理源头上采集的数据。各系统所采集的同类数据理论上应该保持一致，但由于各系统所采用的数据标准、统计口径和数据获取渠道的差异性，导致各系统间同类数据难以吻合。以能效管理的核心数据——油气产量为例，来自A11 的单井实时数据累计加和、A2 的统计上报审核数据、A5 的集输/站库计量数据和来自E7 的统计上报数据均存在一定程度的差异，这种差异性由统计口径、计量误差、损耗、测算方式、精度累计误差和统计周期不同等多种原因引起。各系统在多年运行中对单一业务领域的信息支撑作用均能满足且适应其所服务的业务管理需求，均具有其合理性。但不同系统之间存在关联数据但数据不统一的现状，给能效管理业务整合、能效对标和基于数据资产的业务高效化等管理带来很多难题。

1.1 能效数据的多源性导致数据确权困难

能效数据具有多源采集方式与多学科、多领域、多技术构成的复杂多源性特征。不同业务部门主导建设的信息系统采用了建设之初满足当时设计需求的数据库类型、数据格式和标准，系统数据仅仅适用于其内部流转，无法有效支持其他系统的业务应用[7]。在系统间进行数据集成共享时，数据的权威出处、准确性和完整性验证需要花费较大精力，一旦同类数据存在于多个不同业务系统中，数据确权就存在较大的难度。

1.2 数据冗余消耗大量的计算存储资源

各系统依照业务管理需求进行功能设计，采集了大量支撑系统独立运行的数据。以机采系统工艺环节为例，能效管理需要的指标数据在A2、A5、A11 和E7 系统中均有包含（图1），这些逐渐云化存储的数据中存在大量的冗余数据，且冗余数据之间又存在一定差异[8]，既浪费大量的存储资源，又不能明确哪个数据更权威。对这些多源数据进行融合，能够降低数据冗余，减少数据存储和传输过程中不必要的资源浪费。

1.3 缺乏协同互补的数据共享机制

多系统间的数据种类繁多、来源广泛，涉及不同的技术标准，给信息融合和资源共享的实现带来诸多挑战，随着业务的精细化管理和信息系统的快速同步建设，系统功能也随之不断拓展和变化。如果基于传统的数据集成共享方式，后期建设的每一个系统需要分别与多个先期建设的关联系统建立数据交换接口、数据映射转换、数据抽取推送和数据安全传输防护关系;随着各系统版本的更新迭代和功能的改造提升，已建立好的数据交换方式和策略也要同步进行更替;各系统建设的时间差异又进一步给多数据接口、多数据同步的传统数据集成共享方式带来了额外的工作量。

1.4 系统间数据的互补性未能有效利用

信息系统的建设均有特定的服务群体和受众对象，系统管理内容均具备其业务的专一性和局限性，在特定业务场景尤其是业务交叉管理的特定需求下，独立运转的系统往往存在额外的数据指标有待增补，而这些数据在其他已建信息系统中已经采集存储，各系统间数据具有很强的业务数据互补性[8-12]，自身重新采集或建设会浪费不必要的资源和精力。打通各独立系统数据之间的壁垒，建立集成共享关系，既能节约系统开发成本，又能保障同类数据的一致性。

中国石油信息化建设经历了从分散到集中、从集中到集成应用、从集成应用到“共享中国石油”的融合更新迭代，形成了覆盖整个集团公司的信息基础设施统一规划建设、“三地四中心”的数据中心、信息安全防护全域部署、云化技术架构全面应用的大好局面;打破了业务系统独立建设、信息孤岛带来的管理壁垒。为进一步减少数据重复填报给基层单位带来的额外工作压力和因之造成的数据不一致问题，将信息化建设已积累的大量的、基础的、权威的生产能效数据进行有效的集成融合，建立具备全面深入的大数据分析能力的数字化集成共享应用势在必行。

2 能效数据融合方法研究

数据融合是一种在某种意义的控制结构和模型下，运用数学方法和技术工具，整合多源(同类或异类)表示一致的知识，以最终获取高品质信息为目的的统一表示框架。研究能效数据融合的目的是在洞察数据多源性的基础上，从能效数据应用的本质中以特定的组合规则关联组织数据、迭代优化，从而产生新的数据体以获取更多有效信息[13-17]，并在能效统计分析、能效对标、能源管控中通过建立复用数据模型，解决能效管理的应用实效。但数据融合并不是为了彻底消除数据之间相对的差异，而是要清晰地了解和把控导致这些差异的缘由，对每条数据从产出、流转到加工应用全生命周期的科学诠释，找出有效的管理手段来控制这些不合理的数据差异，并将原本看似不相关的各类数据通过大数据多维分析挖掘，构建数据之间内在逻辑联系和相互作用机制，进而从不同的业务管理角度丰富数据广度，增强业务之间的协同管理。

油气田企业能效数据融合研究以涉及油气田企业生产全业务流程管理的相关信息系统能效数据为融合对象，采用“统一云平台架构、统一数据湖归集为核心、数据融合共享为手段、应用为目标”的思路，用“一个平台、一套数据”规范能效数据的标准化采集与应用，围绕油气生产经营数据、地面公用工程基础数据、物联网实时采集数据和能效综合统计数据的融合衔接作为融合目标。能效数据融合按照3 个步骤开展，首先搭建数据融合研究有利环境，其次确定能效数据集成融合方式，最后明确数据融合策略并进行数据确权。

2.1 研究环境构建

中国石油上游业务板块为适应业务需求变化和信息技术的快速发展，以推进集约化建设、信息共享和业务协同为着力点，制定了上游业务信息与应用共享平台规划蓝图。通过勘探开发一体化协同研究与应用平台（A6）项目建设，同时以云计算、微服务架构并融合企业数据治理理念构建了“平台＋能力＋应用”生态、“数据＋技术＋应用”的上游“勘探开发梦想云平台和数据湖”开放共享环境，为上游业务信息化建设由竖井式系统开发向数字化、智能化、平台化发展转型，以及信息资源共享、软件开发快速迭代、业务需求敏捷响应的全面平台化发展创建了良好的基础条件[18-20]。

充分利用基于Docker ＋Kubernetes ＋DevOps、微服务、中间件等开源技术集成研发的梦想云平台优势和数据湖强大的数据整合能力，既满足了数据融合鲁棒性、容错性、广适性、高效性和实时性的要求[11]，又同步享受到了前者所带来的高效敏捷迭代开发、快速应用部署、异构数据互联互通、资源弹性拓展、服务统一运营、整体安全防护等平台技术便利。因此，本文以梦想云平台和数据湖为基础，采用SpringCloud 微服务架构、DevOps 软件工程自动化工具和Docker 容器技术开展相关工作。能效信息融合构建架构如图2 所示。

图2 油气田企业能效信息融合总体架构Fig.2 Overall architecture of energy efficiency information fusion of oil and gas enterprises

2.2 能效数据集成融合方式

勘探开发一体化数据库作为业务资源的汇聚与应用服务中心，通过数据抽取(ETL)、数据同步(Data Sync.)、虚拟数据库(Virtual Database)、数据联邦(Data Federation)等技术，逻辑上集成了统建系统数据库及油气田自建系统数据库，形成了基于上游勘探开发全业务链主数据、元数据的统一数据管理平台与质量管理体系，实现了与各类异构数据库间跨专业、跨机构、跨区域的数据互联互通、跨域共享[21-24]。利用这一优势特性，本文在数据集成共享基础上，弃用了与多个相关系统直接点对点接口集成的传统数据获取方式，而是依照与数据湖专业领域数据集比对结果，直接从数据湖中获取。无法获取的数据通过油气田能效管理系统进行补充采集，并将加工处理后的数据回推入湖（图3）。该方法进一步消除了传统系统数据集成方式所带来的多接口、多数据映射转换、多数据同步策略的烦琐和不易同步运维的痼疾，实现了能效数据从数据湖的“源头抓取，双向存储”，增强了能效数据的一致性、权威性和互补性。

图3 能效数据集成融合机理Fig.3 Operation mechanism of energy efficiency data integration and fusion

2.3 能效数据融合策略与数据确权

油气田业务能效数据具有大数据的异构性属性，而异构性不可避免会导致数据特征存在差异。如何完成对异构数据的关联、交叉，最终获得数据间的关联关系，是异构数据融合研究的重点[22]。与此同时，同类异构数据的采集源头、跨学科/跨业务加工处理、存储格式和精度等多源性特征，在融合应用之际的权威性认定上（多源性数据在特定业务领域应用时引用哪个数据更准确、更权威、更适合）是另一个不可忽视的问题。

勘探开发一体化数据库（数据湖）早期对上游油气勘探、井筒工程、采油气工程、地面工程与生产、油气藏研究与评价、经营管理与决策等全业务链数据进行规范性定义、梳理、清洗，形成了1.7PB 数据资产的入库统一管理[18]。本文应用概率随机统计模型——统计决策理论，以油气田企业能效指标体系和集团公司上报国务院国有资产监督管理委员会数据报表的指标、维度为对比参照物，针对入湖130 多个数据集、2000 多个指标项的主数据、元数据的能效相关数据进行认真比对梳理，初步确定了相关指标数据来源，以及未纳入数据湖管理的能效指标内容（图4）。其中包括:描述企业和各层级用能单位整体生产、能耗、用水情况的宏观综合指标，涉及生产类、能耗类、用水类、单耗类、财务类和节能节水类六大类;描述各用能单元主要生产系统生产状况和能效情况信息的工艺过程指标，涉及机采系统、集油系统、注水系统、注蒸汽系统、原油脱水系统、原油稳定系统、污水处理系统、集气系统、气处理系统和煤层气系统十大类;描述各用能单元主要耗能设备基本信息和运行能效信息的终端设备指标，涉及抽油机、螺杆泵、潜油泵、加热炉、锅炉、变压器、压缩机、风机和机泵九大类。经过比对，用户、组织机构、井、站库、设备等基础元数据可直接引用数据湖数据;开发生产指标中70%可从已入湖的A2 相关数据集中获得;油藏类型、工艺类型等生产系统基础信息、地质工艺过程指标中38%可以从数据湖中获取。同时，还发现数据湖中相关用水数据较为零散，能耗用水数据只涉及生产单位，辅助非生产单位缺乏相关数据采集;数据湖缺少单耗、财务（能源单价）、节能节水量等能效相关指标，而相应数据在暂未入湖的E7 系统中已经采集，可以入湖补充。

图4 数据湖能效指标梳理及融合机理Fig.4 Energy efficiency index management and data fusion mechanism in data lake

针对数据湖存在的数据冗余和冗余数据差异性问题，在数据确权方面，除跟进A6系统数据治理的同时，本文通过专家评价法确定能效宏观综合指标和能效评价关键性指标，制定了“针对源头采集原始数据进行梳理融合，计算加工处理数据不融合;依据能效管理自身业务特性、管理需求和节能计算评价标准进行后续数据加工”的融合策略。通过规范参数定义，对数据筛选、汇总、去重、增补、异常值/偏离值判定和剔除等多项融合处置，应用标准数据采集流程和数据同步策略，保障源头数据持续入湖、同步共享更新。同时，扩展数据湖缺少的能效相关财务数据（能源介质不同地域的即时单价等数据）、综合能耗数据、单耗等业务数据，实现能效数据及时性、准确性、完整性、标准性和唯一性（权威性）的存储、管理与共享[25-27]，形成了基于梦想云平台统一的油气田企业能效信息管理平台与能效数据质量管理体系。

3 能效数据融合实例

通过油气田企业能效数据融合方法的研究和平台搭建应用，打通了上游业务能效管理相关统建系统的数据融合、集成共享通道。研发的能效融合数据共享服务、业务协同管理支撑平台，改变了传统能效管理模式数出多门的现状，实现了油气田企业的能效一体化统一平台管理。

通过对数据湖中各类数据集的指标项比对校验，结合相关能效统建系统的数据特性、油气田企业自建系统实际应用情况等多种数据确权方法，确定了能效相关指标数据集来源、能效宏观综合指标和能效关键性评价指标内容。以机采系统能效对标体系为例，建立相应数据融合模型（表1）。

表1 机采系统能效对标数据融合模型实例Table 1 Data fusion model for energy efficiency benchmarking of machine mining system

续表

按照油气田企业能效数据融合方法，分别完成各类能效数据融合模型的构建，通过细化能效对标指标定义、指标描述、极值判定、后台运算逻辑配置和数据人工逐层复核等方式，制定数据抽取过滤策略，确保数据的质量，完成数据融合抽取工作（表2）。

表2 能效对标数据融合抽取情况一览表Table 2 Summary of energy efficiency benchmarking data fusion and extraction

续表

基于确权的能效数据构建相应的能效指标可视化对比分析模型，根据油气田类型、地质油藏类型、工艺类型、指标区间筛选、关键指标排序等多条件筛选机制，快速定位同质、同类工况条件对标数据，提高能效对标的准确度、吻合度和可对比性。能效对标分析应用如图5、图6 所示。

图5 能效对标分析数据筛选截图Fig.5 Screenshot of data filtering for energy efficiency benchmarking analysis

图6 能效对标分析数据对比截图Fig.6 Screenshot of data comparison for energy efficiency benchmarking analysis

通过油气田企业能效数据融合方法的研究和平台搭建应用，进一步明确了能效相关数据源权威出处，规范了能效数据标准，大幅提高了数据采集质量和效率，规避了传统低效数据集成共享模式。能效数据的融合和数据自动抽取、推送，有效缩减了基层单位数据重复采集录入、反复审核的工作量，显著提高了工作效率;全面的能效融合数据服务、共享的科研管理支撑平台，改变了传统能效管理模式数出多门的现状，实现了油气田企业的能效一体化统一平台管理。通过建立跨系统、跨学科、跨业务、跨部门的协同研究环境，促进了能效数据的全生命周期科学化管理和决策方式的转变。

4 结语

油气田企业能效数据融合研究充分借助中国石油勘探开发梦想云、数据湖的平台优势和数据优势，优化了传统信息系统数据集成共享的数据接口模式，大大简化了数据交互的中间环节，提高了能效数据资源复用效率和服务应对能力，辅助并促进了相关部门开展业务协同工作。既实现了油田开发全生命周期能效数据的集成与综合应用，又进一步促进了能效管理业务流程的优化，是提升能效管理工作效率的一个重要发展和进步，对今后持续有效支撑多学科专业人员的协同工作与高效决策具有重要意义。

从长远意义来看，油气田企业能效数据融合作为信息资源聚集融合的一次有益尝试与实战应用，开启了信息整合、内容整合、服务整合、流程整合、业务协同等多方面更大的研究空间。随着上游板块建设数据统一采集平台的构想被越来越多的有识之士认同，启动统一数据录入系统的研究建设将进一步从根本上解决数据重复采集录入问题，有效保障数据的唯一性、准确性、权威性和快速可溯源特性，数据治理和资源整合的大环境有望得到进一步优化完善。