APP下载

调控云模型数据治理系统应用研究

2019-10-17陶士昌徐天品刘琪翟毅曹卫华孙荣西

中国设备工程 2019年19期
关键词:上云分词调控

陶士昌,徐天品,刘琪,翟毅,曹卫华,孙荣西

(1.南瑞集团公司(国网电力科学研究院),江苏 南京 210061;2.国电南瑞科技股份有限公司,江苏 南京 211106)

随着我国特高压电网建设的全面提速、新能源的快速发展和电力市场化改革的深入推进,电网一体化运行的特征愈发明显,对电网实施集中分析决策、多专业间业务协作和跨调度机构工作协同等需求更加迫切。

近年来,快速发展的云计算技术具备超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点。基于云计算技术,文[3]提出了调控云总体规划,设计了调控云总体架构,提出了调控云建设需要突破的关键技术,展望了调控云的应用前景。调控云能够实现电力调度信息的全局规划和统一设计,提升大电网运行安全水平和调控管理的精益化水平。

目前,模型数据上云的方法主要有两种:一种是以Ⅰ区为源三区完善参数,即在Ⅰ区建立模型数据中心汇集全省D5000 模型数据,同步到Ⅲ区,通过Ⅲ区OMS(Operation Management System)系统的新设备启动流程结合O-P 将缺少的参数维护完整;另一种以三区为源,即调控云就是模型数据的源头,在调控云维护完整后,同步给其他系统共享该类模型。本文采用的是第一种方法。此根据方法,传统的获取方式是进行手工录入模型数据或者通过模型拼接导入模型数据。对于手工录入模型数据,后续云端数据与EMS(Energy Management System)系统的映射关系也需要人工维护,效率低下,难以大规模应用。对于模型文件拼接导入方式,容易存在数据不准确、不规范等问题,而且模型数据变化后不宜实时同步,导入效率低。本文提出的模型数据治理系统通过分析电网调控系统以及OMS系统与调控云结构化设计的差异,通过模糊匹配关键技术,建立调控系统、OMS 系统与调控云模型表域的映射关系,通过此映射关系,可将OMS 系统中的数据补充到调控系统,再通过可配置的转换规则和可视化的转换流程实现电网模型数据的治理上云。下面各章节具体介绍了该系统的实现方式,包括模糊匹配、模型数据治理规则、数据治理总体流程三个方面,并在第4 小节中介绍了本系统的实际应用情况。

1 模糊匹配

采用人工方式建立数据关联,工作量巨大,针对此问题,本文引入了模糊匹配的关键技术。该技术包括IK Analyzer分词工具与相似度比较函数两部分。

IK Analyzer 是一个开源的,基于Java 语言开发的轻量级的中文分词工具包,具有如下特点:

(1)支持细粒度和智能分词两种切分模式:采用了特有的“正向迭代最细粒度切分算法”;

(2)高速处理能力:Core2 i7 3.4G 双核,4G 内存,window 7 64 位,Sun JDK 1.6_29 64 位普通PC 环境测试,达到160 万字/秒(3000KB/S);

(3)智能分词模式支持分词排歧义处理和数量词合并输出;

(4)优化的词典存储,更小的内存占用,支持用户词典扩展定义。

分词后是相似度匹配流程,本文采用“余弦相似度法”,公式如下。

模糊匹配流程如下:

(1)抽取同一设备不同系统中的表数据;

(2)IK Analyzer 分词;

(3)计算词频,组成词频向量;

(4)相似度匹配,记录映射关系表。

2 模型数据治理规则

模型数据治理规则约定数据源端与云端数据的对应关系,即调控系统(D5000)、OMS 系统与调控云结构化设计的对应关系,其中,OMS 系统起到模型补充作用。

D5000、OMS 与调控云属性的映射关系以调控云中的变电站表为例,如表1 所示,可以总结为以下四种情况:

(1)D5000 与OMS 共有,如“变电站名称”与“所属调度机构”等;

(2)D5000 独有,如“所属电网”与“拥有者”;

(3)OMS 独有,如“资产单位”与“投运日期”等;

(4)D5000 与OMS 均没有,如“资产归属性质”与“海拔”等。

治理顺序规则:从上至下,先电网,再设备容器,最后设备对象,这样可以避免数据库表中外键约束依赖造成数据入库失败问题。

数据治理范围规则以去冗余原则,只提取调控云需要的数据。调控系统模型共性范围一般包括以下三点:

(1)模型记录的所属应用同时含SCADA、PAS;

(2)模型记录的电压等级为“10kV、20kV、35kV、110kV、220kV、500kV”;

(3)模型对象的运行状态为“正常投运”。

表1 变电站属性映射关系

3 数据治理系统流程

数据治理系统可以同时对存量数据和增量数据进行处理。存量数据,即调控云系统上线前,源端D5000 系统及OMS 系统现有的模型数据。

存量数据治理上调控云的整体思路是:

(1)以D5000 系统的模型数据为基准,先将D5000 系统的数据治理上调控云,再将OMS 中的部分模型参数补充到调控云。

(2)对于部分设备类型(比如电流互感器和电压互感器),D5000 系统没有建模但是OMS 有的,则从OMS 将数据治理上调控云。

增量数据处理是在某一时间节点存量数据治理完成后,由于设备新投、变更、退役,导致源端(D5000 系统、OMS)发生数据新增、删除或参数改变后,将数据治理后同步到调控云,保证源端与云端数据一致的过程。增量数据处理会实时触发将变更消息推送入临时库中,后面的流程与存量数据治理相同。

数据治理系统的总体流程如图1 所示:

(1)建立D5000 系统、OMS 两系统与电网模型云平台通用数据对象标准结构间表、字段属性映射关系,将两系统中存量数据抽取至待治理临时库中。同时,增、删、改发生时,将增量数据推送到临时库中。

图1 数据治理流程示意图

(2)按照规则进行数据治理,按照ID 编码规则,生成调控云电网模型数据云平台中设备所属的唯一ID;通过电压等级、所属厂站(调管关系)、设备名称字段的模糊匹配,建立D5000 系统、调控云与OMS 设备对象的关联关系。

(3)治理的结果会进行发布,目前导出成Excel 格式的文档,用户可以根据该文档检查数据的完整性、参数的正确性。

(4)修改完成后,重新进入治理流程,如此循环,直到所有数据均完成治理。

4 应用情况

目前本文介绍的调控云模型数据治理系统在多个省调的调控云系统投入应用。下文以某省调调控云模型数据治理的实际流程为例详细介绍通过模型数据治理系统模型数据上云的应用情况。

图2 模型数据治理案例

该省调在一区,通过以D5000 系统为平台的模型中心汇集了全省包含10kV 以上的全电网模型。通过一三区数据镜像将模型数据复制到三区模型中心镜像库,建立模型中心、OMS 两系统与电网模型云平台通用数据对象标准结构间表、字段属性映射关系,将两系统中数据抽取至待治理临时库中。后续按上文中的转换规则对临时库中的数据进行转换治理上云,如图2 所示。

表2 是以两个规模相当的220kV 新建厂站为例,采用的模型数据治理系统前后的对比。从表中数据可以看出,本系统的数据治理效率相比于模型文件导入和手工录入有明显提升,而且正确率也有保证。另外,如果考虑到以后常态化运行过程中的增量数据治理,本系统的优势会更加明显。

表2 模型治理方式与手工录入对比

5 结语

本文提出的电网模型数据治理上云的系统,通过梳理源端调控系统、OMS 系统与调控云结构化设计的差异,通过设计一套可灵活配置的模型映射规则及数据转换规则,同时引入模糊匹配的关键技术,实现了电网模型自动上云。文中针对存量数据和增量数据模型分别给出了处理方案,保证了在调控云的初期建设中模型数据的正确性、一致性,并且解决了后期常态运行过程中数据的增、删、改后数据同步问题。通过在某省调的实际应用,相比传统的手工录入和模型文件导入,此方案有效提高了数据上云的效率,并且符合泛在电力物联网“数据一个源、电网一张图”的理念,为调控云的后期建设提供了思路和方法。

猜你喜欢

上云分词调控
高速公路视频上云架构及视频智能分析
楼市调控是否放松
高速公路视频上云工程建设浅析
碘-125粒子调控微小RNA-193b-5p抑制胃癌的增殖和侵袭
分词在英语教学中的妙用
浙江企业上云势头喜人累计上云企业达37.78万家
如何调控困意
经济稳中有进 调控托而不举
结巴分词在词云中的应用
结巴分词在词云中的应用