基于多平台的油田业务管理系统关键技术研究

2016-11-24任伟建宋成坤霍凤财姜淑环孙宝翔王春蕾李鹏娜

化工自动化及仪表 2016年8期

关键词：数据源校验数据挖掘

任伟建宋成坤霍凤财杨迪姜淑环孙宝翔王春蕾李鹏娜

(1.东北石油大学电气信息工程学院,黑龙江大庆 163318;2.大庆油田有限责任公司第二采油厂,黑龙江大庆 163414)

基于多平台的油田业务管理系统关键技术研究

任伟建1宋成坤1霍凤财1杨迪2姜淑环2孙宝翔1王春蕾1李鹏娜1

(1.东北石油大学电气信息工程学院,黑龙江大庆 163318;2.大庆油田有限责任公司第二采油厂,黑龙江大庆 163414)

应用多数据源融合技术实现了油田各专业数据的分析与关联，为油田管理中数据查询和数据分析做好了准备。采用基于数据挖掘的辅助决策技术实现了对重点数据的智能分析，解决了以往分析数据靠人工经验的问题；利用基于Android平台的移动终端推送技术实现了数据的专业化定制，能够随时随地掌握数据的变化情况。通过应用这几种技术整合了油田业务管理的数据信息，实现了各个部门的业务集成，提高了工作效率。

数据融合数据挖掘辅助决策终端推送油田业务管理

随着油田企业数字化建设的深入进行，大量的网络信息系统被开发并投入运行，产生出了大量的不同专业、不同结构的数据源[1]。针对这些不同类型的数据，如果不能有效地管理和整合，将很容易造成数据遗失和数据混乱。因此，如何有效地整合如此庞大、复杂的数据源，并在各数据源的基础上实现关联、分析及信息挖掘等都将成为油田数字化建设所面临的难题。目前，各个企业网络应用系统应用多数据源融合技术已经成为一种趋势[2]，将多数据源融合技术应用于油田业务管理中，不仅能够对数据进行正确性分析以选取最优数据集，而且还能预先处理数据满足实际需求，因此应用多数据源融合技术，开发一种多平台的油田业务管理系统十分必要。针对油田生产数据量过大、数据源分散、专业数据无关联，根据历史数据分析生产情况、预测开发指标等主要依靠人工手动查找资料，凭经验处理，效率不高的情况，笔者通过C#语言、多数据源融合及基于数据挖掘的辅助决策等几个关键技术来解决这些实际问题。

1 系统整体架构

基于多数据源融合技术的油田业务管理系统主要由多数据源融合模块、决策支持系统模块和移动终端推送模块3部分组成：

a. 多数据源融合模块是通过数据分析、数据整合等手段对不同源、不同部门、不同专业及不同系统等各类数据信息进行融合与交互分析，对现有油田业务管理进行深入挖掘，并对分布式油田管理数据进行整合和集成，为油田管理部产量运行管理、计划统计管理、油水井间管理、泵站管理及节能管理等方面的数据共享和数据分析提供便利。

b. 决策支持系统模块是通过应用自主学习型数据校验技术和基于数据挖掘的辅助决策技术，建立油田管理数据校验函数库，逐步实现由事件驱动数据关联的业务管理模型，对油田业务管理重点关注的数据项进行多维度分析校验，提高展示数据的管控效率，为油田管理提供直接的决策参考依据。

c. 移动终端推送模块是运用基于Android平台的移动终端推送技术，将受关注的数据信息推送至移动终端中，实现油田业务管理数据专业化定制，随时随地掌握生产数据变化情况。

2 技术研究

2.1多数据源融合技术

在油田管理业务系统中，针对多源数据要实现以下3个功能：建立基于结构化数据库和非结构化数据库的数据模型，迁移专业数据库；提供统一的数据接口，以便各个部门提取合成数据；实现油田管理部下属各个部门之间的数据交换和共享。以上功能的实现需要依托多数据源融合技术，多数据源融合技术指应用相关方法将采集、分析、选取到的所有数据源全部集中到一起，对各类数据信息进行综合分析，进而得到统一的数据集[3]。该技术的主要目的是将各种不同结构的数据源中的各类数据信息进行综合，抽取不同数据源的特点并从中提取出比单一数据更直观、更准确的统一的数据信息。

针对油田业务管理的实际需求，实现多数据源融合可分为以下几个步骤：

a. 选择数据。选取数据时要保证数据的正确性和完整性，尽量筛选出合适的数据集进行融合。

b. 由于油田企业中的数据类型有多种，包括结构化数据库(如A2数据库)、非结构化数据库(如A5数据库)和其他类型数据文件中的各种数据，因此合理选择数据后要对它进行预处理操作，保证数据融合后仍能满足实际业务要求。具体做法是将不同部门、不同专业的数据进行分类，并为每个待融合的数据源设置统一的主键，如“时间”、“矿名”及“队名”等字段。完成上述数据预处理操作后，再根据实际要求，将各部门、各类型、各系统的数据进行融合。

c. 从多个角度和多个方面对融合后的数据进行数据挖掘和数据分析，将分析结果作为管理人员的决策依据。

结合某采油厂数字化建设的特点，采用如图1所示的框架实现多数据源融合。

图1 多数据源融合技术总体架构

先将A2结构化数据库、A5非结构化数据库和其他类型数据文件中关于产量运行、生产计划、油水井间及泵站等各类数据信息进行整合与交互分析，为了避免后期查询速度过慢，采用建立动态数据库中物化视图的方式，通过编写SQL语句执行DML操作，用UNION ALL、JOIN等操作符将原始数据库中的多个数据表连接在一起，并以每个表中的主键“时间”和“矿名”字段为基准点，将静态单井、产液量、注水量及油井井数等数据信息进行融合并分类存储，对分布式的油田管理数据进行整合和集成，通过统一的数据接口将处理过的数据信息实时地传递至动态数据库，再以动态数据库中的实时数据作为基本数据，应用于油田管理业务系统当中。最终形成一套以油田管理为目的的整体数据集，并对现有油田业务管理进行深入挖掘，实现油气水产量、泵站管理及油水井间管理等各类数据信息的融合与交互分析。

2.2自主学习型数据校验技术

自主学习型数据校验，就是为了保证数据的有效性、完整性和正确性而在数据传送时采用的一种校正数据错误的方式[4]。具体实现方式是用一种指定的算法对原始数据计算出一组校验值[5]，在接收数据之后用同样的算法对这组校验值进行计算，如果计算结果和原始数据的计算结果相同，则说明数据是完整的、准确的。

数据校验的最终目的是为了保证数据的完整性和正确性，并实现一些预警功能，包括数据融合调用过程中的数据校验、预警分析等。采用如图2所示的数据校验流程，主要包括以下4个方面：构建校验函数库，设计校验模型，根据待校验数据的特点，采用行校验、跨表校验和历史数据校验这3种校验模型对重点关注数据，如影响油量、影响液量及开采井数等进行正确性校验；编写校验程序，结合VS开发工具，采用XML结构性标记语言记录检验规则，编写预警函数，计算出重点关注数据偏离正常区间的百分比，并采用面向对象的机制将各类函数方法封装成类，便于业务层调用；配置检验公式，在页面上捕捉错误数据，根据原始数据对错误数据进行补齐和更正；校验结果展示，将校验结果以曲线、列表等方式展示给用户，例如在转油站输油情况追溯过程中，对输油量下降值超出预期范围的油矿、中转站和井进行下降预警提示，以便用户根据提示信息迅速找到异常情况并及时处理，提升用户的工作效率。

图2 数据校验流程

2.3基于数据挖掘的辅助决策技术

在油田业务管理中，需要对产油量、注水量及产气量等数据做旬度、月度和年度的汇总和分析，得出的结果将作为下一季度工作计划的参照模型，为油田管理提供可靠的决策依据，这就需要应用基于数据挖掘(Data Mining)的辅助决策技术[6]。数据挖掘就是从大量的、模糊的、随机的、有噪声的数据中，分析获取出隐藏在其中的、事先不被发现的但又非常重要的信息和知识的过程[7]。发现的信息和知识可以被用于信息管理、查询优化及决策支持等，还可以利用已有的信息对未来的活动进行预测[8]。在实际应用中，将大量的、存储于企业数据库中的实际数据作为样本集，通过相关的数学分析方法对样本集进行分析，挖掘出其中的变化规律和各个样本参数间的联系和影响规律，进而获得相应的计算模型，进行参数间的规律计算与分析，可以为企业决策提供支持。基于数据挖掘的辅助决策技术实现流程如图3所示。

图3 基于数据挖掘的辅助决策技术流程描述

首先以多数据源融合后的动态数据库作为数据仓库，再以油田管理各个部门重点关注的数据，如产油量、产气量、注水量及井数等方面的数据作为目标数据，结合C#语言和VS开发工具，通过编程设计挖掘算法，调用SQL数据库的封装类，获取目标数据在一段时间内的数据情况，以在线分析处理的方式对目标数据进行深入挖掘，分析这些数据在近几天或者几个月内的变化情况，预测它们在近期内的变化趋势，最终利用gridview控件实现统计表格，并运用echarts插件中的Line、Bar和Pie图形绘制工具实现折线图、柱状图和饼状图的绘制，以统计图表的形式展示给用户，为不同用户进行数据管理和分析提供重要的决策参考依据，具体原理如图4所示。

图4 辅助决策原理

2.4基于Android平台的移动终端推送技术

基于Android平台的移动终端推送技术普遍采用XMPP协议(Extensible Messaging and Presence Protocol)实现Android推送[9]，采用如图5所示的架构模式。数据库与PC端系统服务器和移动终端服务器相连接，进行数据交换；移动终端服务器和PC端系统服务器间设有接口，通过PC端系统服务器配置移动终端服务器基础信息；App客户端通过XMPP协议与移动终端服务器建立连接，并进行用户登录认证[10]。服务器端有消息要推送时，应用消息推送接口，通过Session找到相应的客户端，将配置好的消息包通过Session发送到相应的客户端，App客户端接收到消息包之后，调用消息处理方法对消息包进行解析，解析得到的数据即服务端实时推送的数据信息。

图5 基于XMPP协议的移动终端推送架构模式

移动终端模块采用如图6所示的原理实现信息推送。基于Android平台搭建App客户端，客户端通过XMPP通信协议与移动终端服务器建立连接，并通过该连接进行用户登录验证，当有消息要推送时，运用数据转换技术将油田数据库中的各项业务数据转换为JSON数据流，并将数据流传送到移动终端服务器上，移动终端服务器对数据流进行内外网转换，转换后的数据被Web服务器发布到Internet上，获得服务端验证许可的用户可利用移动终端设备通过WLAN无线网络访问Internet上的重点数据。通过采用基于Android平台的移动终端推送技术减少了工作人员使用网络搜索信息的时间，为管理层和油田职工实时查询数据信息提供了便捷。

图6 基于Android平台的移动终端推送原理

3 系统应用

多数据源融合技术实现了各专业数据的智能查询，应用效果如图7所示，解决了以往采油方式、驱动方式等不同类型的问题井情况只能在不同专业的系统中查询、影响工作效率的问题，将油田中所有类型的地面问题井统一管理，集成到本系统中，只需根据采油方式和驱动方式即可查询出所有类型的油井地面问题的相关情况，提高了工作效率。基于数据挖掘的辅助决策技术实现了对重点数据的多维度分析，应用效果如图8所示，可以看到近一个月内的水井数据变化情况，根据下降的箭头提示可以查看到水井数据下降的相关油矿，并且可以通过分析结果得到数据下降的具体值、下井的井数等关键信息，便于做出应对策略。基于Android平台的移动终端推送技术将实时变化的数据信息推送至手机中，应用效果如图9所示，通过点击“输油情况”、“罐存情况”、“油井情况”或“水井情况”的图标，即可查询到相应情况的实时变化的数据信息，使用便捷，不受时间和空间的限制。

图7 多数据源融合效果

图8 基于数据挖掘的辅助决策效果

图9 移动终端模块效果

4 结束语

应用多数据源融合技术整合了油田各部门的专业数据信息，通过自主学习型数据校验技术和基于数据挖掘的辅助决策技术完成了对重点数据项的数据校验和智能分析，并为油田管理的决策提供了依据，利用基于Android平台的移动终端推送技术实现了数据的实时推送，使用户能够摆脱空间限制随时随地掌握数据变化情况。实践表明，以上几项技术的应用提高了油田管理部门的数字化建设水平，满足了油田业务管理的综合需求。

[1] 王娟,梁鸿军,李良,等.油田数字化的异构数据源整合与集成技术[J].油气田地面工程,2014,33(11):10～11.

[2] 夏可青,陈根军,李力,等.基于多数据源融合的实时电网故障分析及实现[J].电力系统自动化,2013,37(24):81～88.

[3] 王征,刘宁庄,张建成.数据融合的方法及应用研究[J].自动化与仪器仪表,2006,(4):77～80.

[4] 昌力,刘拥军,朱成,等.基于规则的电力调度计划数据校验机制[J].电力系统自动化,2012,36(21):98～101.

[5] 李亚洁,许广辉,侯岩松.基于XML的柔性数据校验系统的设计与实现[J].信息系统工程,2011,(4):26～28.

[6] 袁林.基于数据仓库的辅助决策系统设计与实现[J].电力系统自动化,2001,(21):25～27.

[7] 徐刚强,林燕.基于数据挖掘的招考志愿填报辅助决策支持系统[J].计算技术与自动化,2014,33(4):106～109.

[8] 李敏.数据挖掘在辅助决策系统的应用研究[J].微计算机信息,2004,(5):96～97.

[9] 李丹锋,尹丹云,陈潇潇.基于Android平台的推送技术在移动OA中的应用[J].制造业自动化,2014,36(12):17～18.

[10] 傅镜艺,马兆丰,黄勤龙,等.基于Android的移动终端安全管理系统[J].计算机工程,2014,(11):77～82.

(Continued on Page 858)

ResearchonKeyTechnologiesforOilfieldManagementSystemBasedonMultiplePlatforms