李涛，孙延吉，王会军，田娜

(石化盈科信息技术有限责任公司，北京 100007)

近年来，油气长输管道信息化建设不断发展，实现了管线工程建设、资产管理、生产运行、经营管理等覆盖整体业务域的信息化管理模式，实现了管线运行、设备运行、管线泄漏、阴极保护、地质灾害等全天候、全时段监测，积累了大量结构化、非结构化的实时性数据资产。以管线完整性管理系统为例， 2015年中国石油通过管道完整性管理系统实现约5.4×104km管道长度完整性管理，积累900多万条业务数据[1],形成海量数据库；2018年中国石化通过智能化管线管理系统实现上、中、下游约3.4×104km长输管线完整性、生产运行、应急响应、隐患治理等的管理[2]，实现集团级文档、视频、实时数据、图片等结构化和非结构化约40 TiB管线数据的集中标准化管理。近几年管道行业数据呈几何级数高速增长，由此可见，国内管道行业大数据时代已经到来。

1 油气长输管道大数据平台架构研究现状

国外，“大数据”一词由美国高性能计算公司SGI的首席科学家约翰·马西于1998年提出，接下来十多年一直处于不断探索研究阶段，直到2014年概念体系基本成形，形成了包括数据资源、平台与工具、数据基础设施等构成的大数据框架体系。国内， 2015年王维斌[3]借鉴管天云等提出的数据处理分析系统架构，结合长输管道系统特点，提出包括数据源、数据获取及预处理、数据储存与计算、数据分析、数据应用等方面的管道大数据系统架构。董绍华等[4]在王维斌提出的管道大数据系统架构基础上进行了完善,调整了“数据获取与预处理”和“数据储存与计算”的先后顺序，并进一步细化了数据应用层部分内容。2018年郭磊等[5]提出依托完整性管理中已有数据，结合业务应用场景进行管道大数据平台设计,平台架构中增加了平台监控管理功能。

基于大数据处理技术[6]，借鉴相关专家已有研究成果，结合管线大数据应用实践，进一步完善管道大数据平台系统架构中各层内容，拓展管道大数据平台分析内容和范围。油气长输管道大数据平台系统架构如图1所示。

图1 油气长输管道大数据平台系统架构示意

由图1可知，平台系统架构分为数据源、数据储存与管理、数据预处理与计算、数据服务、数据应用以及平台监控管理六个部分。数据源主要包括： 管线设计、工程建设、调度运行、生产经营等管线系统全生命周期数据采集，通过设置不同数据源的数据获取接口，与已建信息系统、物联网系统、第三方数据及应用提供的数据服务等实现集成。数据储存与管理层利用分布式文件系统(HDFS)和分布式列式存储数据库(HBase)实现采集的结构化、半结构化、非结构化以及实时数据的快速持久化存储与高效数据检索。数据预处理与计算层利用分布式计算框架(MapReduce)和大数据计算引擎(Apache Spark)实现数据的预处理、特征提取、模型训练等过程。源数据经过该层格式处理和转换、整合、去噪、过滤、特征提取等处理后，仍然保存在分布式存储中供数据计算和分析。数据服务层包括模型服务、算法服务以及通用服务，为管道大数据分析应用提供模型、算法等支撑。数据应用层为用户提供数据智能检索、数据共享、业务决策、数据可视化等功能。平台监控管理包括权限管理、状态监测等功能，从数据安全、质量、作业状态、任务调度及平台健康状态、组件健康状态等不同方面进行监管，保障管线大数据平台的稳定运行。此外，通过油气长输管道大数据平台可实现与其他相关系统间信息流通共享，具体结构关系如图2所示。

图2 油气长输管道大数据平台与其他相关系统结构关系示意

2 油气长输管道大数据整合处理现状

对于油气长输管道大数据应用来说，数据整合是其中关键的一环。油气长输管道大数据涵盖规划、前期、设计、采购、施工、投产、运行、报废等全生命周期、全业务数据。由于业务面广、时间跨度大导致数据呈现杂乱无序、繁琐冗余、孤立分散等现象,数据整合处理就是将这些杂乱而分散的管道大数据实现按时间维度、空间维度、业务维度“三维一体”的有序、去重、关联、集中管理，为后续数据特征提取、模型训练做准备。

2.1 油气长输管道数据标准现状

数据标准统一是实现数据整合处理的前提和基础。中国石化信息化标准管理系统对依据主数据编码标准统一管理涉及的物料、单位、生产等主数据编码，对各业务信息系统中涉及的基础数据、业务数据则自行制定标准，如中国石化智能化管线管理系统建立了一套涵盖管线管理业务、技术、数据三大类88项标准体系，全生命周期标准规范体系框架如图3所示。该体系包括： 数据采集、数据字典、地图影像、三维模型、图形图例、数据安全、数据质量管理等，用于指导管线全生命周期数据标准化管理。中国石油公共数据编码平台建设了集公共数据编码申请审批、质量管控、集成发布、应用评价的一体化管理平台，实现了数据标准管理和编码管理的自动化。此外，中国石油制定了PPS系统、ERP系统、完整性管理系统等相关规范[7-8]。总之，油气管道企业建设信息系统时，会相应建立一套标准规范作为系统建设的指导。由于各信息系统分开建设，仅考虑各自业务模式、业务流程和业务功能需求，导致设计、采购、施工、运行等各阶段所建系统标准不统一，不同系统同一数据内容、格式、大小存在差异，成为后续数据整合的障碍。

图3 中国石化智能化管线管理系统全生命周期标准规范体系框架示意

2.2 油气长输管道大数据整合处理方法研究现状

1)国外现状。2009～2011年，联盟管道有限公司(Alliance Pipeline Ltd.)委托三家在线检测供应商检查多个管段，对比分析了三家单位检测出的环焊缝数据与管道施工记录，显示测得的环焊缝与已有数据匹配较好，借此表明环焊缝是管线内检测数据对齐匹配的理想参考点[9]。2015年，通用电气和埃森哲公司联合提出将地理信息系统、生产系统、风险管理系统、资产完整性管理等系统数据集成整合，并与外部天气、地震、第三方活动等数据结合，为用户提供实时数据查询和预测功能[10]。

2)国内现状。2014年冯庆善[11]提出以内检测提供的管节信息为基线，管道内外检测、设计、施工、运行、阴保等管道大数据按照基线进行对齐整合，进而形成统一的数据模型。2018年王波等[12]提出引入相似算法同时结合人工干预实现管道内检测数据与施工数据中焊缝、阀门、弯头、三通等基线特征数据的对齐匹配。

因此，在管道建设期与运营期大数据整合处理中，内检测的环缝、阀门、弯头、三通等管道基线特征点编号与管道施工期的相关安装信息所记录的编号建立一一对应的关系是关键[13-14]，特征数据对齐匹配后，可将各阶段业务数据按基线入库对齐匹配，即实现管线大数据按空间维度整合，管道内检测和施工期基线特征点对齐匹配流程如图4 所示。

3 油气长输管道大数据应用现状

1)国外现状。一些知名管道企业在设备可靠性分析、压力传感器泄漏监测、内检测数据深度评估、操作方案实时优化、云平台建设等方面开展了大数据应用探索。美国哥伦比亚管道集团在智能化管道系统建设方案中提出应用生存模型处理分析同类设备积累事件信息，实现设备可靠性分析[9]。韩国SK能源在不新增传感器的前提下，通过7个压力传感器数据的分析即可在1 min内发现1%流量的泄漏，漏点定位精度达300 m[15]。Mohamed A等[16]利用Levenberg-Marquardt反向传播学习算法学习缺陷深度及其对应的漏磁(MFL)检测形状信号，实现检测缺陷深度估计，比较了通用电气和罗森等服务提供商的报告，结果基本一致。意大利SNAM公司通过移动终端实现现场作业人员记录、施工完成通告、维护操作、现场设备数据等实时采集，发送至控制中心实时处理分析，将实时优化分析后信息反馈给现场工作人员，将现场采集数据充分利用实现操作实时优化[17]。TransCanada公司于2017年1月开始开展云转型，进行数据中心整合分析，将所有数据向云端转移；到2018年初，开始迁移应用程序，制定迁移计划，将提升后应用程序迁移到云环境中，创建协同工作环境，为实现一体化的运营优化以及预测性分析功能提供支撑[18]。

图4 管道内检测和施工期基线特征点对齐匹配流程示意

2)国内现状。一些管道公司以及学者充分利用了将管道设计施工、管道内外检测、风险监测、SCADA监控等方面积累的数据，开展管道腐蚀、设备故障、风险预警、运行参数等方面的研究和应用探索，但大部分应用研究属于管道完整性管理业务范畴。原中国石油管道公司分析和挖掘积累的内检测管道大数据，为管道风险判定、缺陷维修计划等提供建议方案，实现缺陷精准修复[11]。原中国石化管道储运公司利用大数据技术进行设备健康诊断探索试点建设，在集成SCADA等在线监测数据的基础上，将近期采集的数据与参考模型比对，尽早发现设备渐变故障。李俊彦等[19]利用逻辑回归模型建立管道工程滑坡风险概率计算模型，指导管道滑坡风险应急处理工作；林现喜等[20]提出基于管道内外检测大数据，通过内检测数据比对、内外检测数据比对可发现新的腐蚀缺陷、计算腐蚀速率、分析管道腐蚀原因；郭磊等[5]采用线性回归模型、决策树模型、随机森林模型分别预测第三方施工发生的可能性，经过对比分析发现随机森林模型具有较好的预测效果；张新建等[21]利用关联规则技术挖掘管道中积累缺陷等相关数据，分析管道本体缺陷与其他因素间的关联关系，为管道腐蚀控制与防护提供决策依据；张明等[22]融合往复式压缩机多个传感器的采集结果实现基于多源信息融合的压缩机故障诊断；冯新等[23]提出利用滑动窗口离群值分析的大数据分析方法分析处理光纤分布式温度监测数据，与负压波或泄漏声技术相比具有较高的定位精度；王梦娇[24]利用Spark ML机器学习算法中的决策树、随机森林、支持向量机、极致梯度分类预测管道光纤安全监测5类典型事件，发现随机森林分类算法在管道安全监测分类上应用效果较好；于涛等[25]综合应用遗传算法(GA)和神经网络 (BP)，将管道SCADA中积累的运行数据利用起来，建立GA-BP油温预测模型预测进站油温，计算结果表明模型预测结果比理论计算结果更准确；王茀玺等[26]从SCADA中抽取压缩机的压力、流量、转速信息，利用聚类分析和深度学习网络模型建立压缩机实际压力预测模型，获得比传统特性换算方法更准确的计算结果；Guanqiu Qi等[27]利用支持向量机(SVM)识别和分类往复式压缩机的潜在故障，利用收集的5 a运行数据在云环境下进行了评估，结果表明该模型能有效地诊断压缩机潜在故障。

4 未来发展方向

借鉴国外知名管道公司应用案例，结合当前大数据方面国家政策和国内发展不足与短板，提出未来国内油气长输管道大数据未来发展方向[28]：

1)依托油气长输管道全生命周期数据标准，构建油气长输管道数据治理体系。目前，国内管道企业已经基本实现覆盖管道规划、设计、采购、施工、验收、运行、废弃等全生命周期数据标准的建立，内容包括： 数据采集、数据字典、地图影像、三维模型、图形图例、数据安全、数据质量管理等方面。由于尚未构建油气管道数据治理体系，因而在缺乏有效的机制来管控管线全生命周期数据的情况下，出现建设期与运营期依据数据标准不统一、数据无法在不同业务域系统中重复利用、数据确权不明确、数据安全与数据共享利用率间存在矛盾等问题，已经成为制约管道大数据发展的短板之一。

2)由管道业务、系统开发、数据分析人员协调配合，构建油气长输管道大数据专门管理机构。油气长输管道大数据应用研究是涉及管道业务、数据分析业务、系统开发业务的综合性业务，同时亦是贯穿管道全生命周期的持续性业务，包括： 管道设计、采购、施工、运行等大数据应用。因此，有必要构建由业务、系统开发、数据分析人员组成的油气长输管道大数据专门管理机构，其中管道业务人员熟悉业务流程和相关业务理论方法，负责利用油气长输管道大数据结合业务场景提炼数据分析挖掘的目的；数据分析业务人员熟悉大数据算法模型，负责利用算法模型实现数据分析挖掘目的；系统开发业务人员熟悉大数据应用系统平台，负责利用系统平台实现数据分析挖掘的开发，三者间协调配合，以业务为导向、数据分析和系统开发为支撑，为管道大数据应用研究持续顺利进行提供专业化人员保障。

3)加强油气长输管道大数据应用广度和深度，破除“积累数据量多、挖掘信息量少”的应用现状。目前，国内油气长输管道行业大数据应用主要集中在管道完整性管理领域，利用统计分析、各种模型预测算法实现管道腐蚀缺陷致因分析、腐蚀控制、风险预警等，对工程建设、生产、调度、能耗、安全环保、采购等管理业务则少有相关研究，亦无指导性深层次应用，如管道本体缺陷大数据应用方面，现阶段通过关联规则可以挖掘管道本体缺陷与周边环境、本体属性之间的关联规则，但无法进一步做出管道本体缺陷发生失效风险的最佳防控方案，需要人工根据关联规则结果寻求问题解决之道。总的来说，管道大数据的应用的广度和深度不足，未实现数据蕴含价值的充分挖掘，呈现“数据量大、信息量少”的现状，对数据的分析挖掘还处在初级阶段。国际商业机器公司(IBM)相关报告指出： 大部分企业仅利用了1%的数据。未来，结合国家管网成立带来的管道业务模式转变及发展要求，建议管道大数据应用向管道全生命周期业务域扩展，实现管道设计与施工方案优选、管网运行调度优化、管道应急响应方案自动生成、管容需求预测、针对性营销服务等深层次应用研究，实现管道多源异构大数据充分挖掘利用，实现数据资产价值的最大化。