APP下载

广东电网省级计量自动化系统数据回流技术研究

2019-10-21杜诗萌孙勇杨路蔡乾乾胡皓鹏

科学导报·科学工程与电力 2019年17期
关键词:数据分析

杜诗萌 孙勇 杨路 蔡乾乾 胡皓鹏

【摘  要】2015年,广东电网有限责任公司建成了省级集中计量自动化系统。为了保持计量业务全省集中的优势,又能兼顾各地市供电局的需求,通过建设全省统一的省级数据备份仓库,把省级计量自动化系统集中处理的数据,快速、安全地回流到各地市局,使各地市局及时、准确地获取并使用本单位的业务数据,为地市拓展业务应用和数据分析提供数据支撑。

【关键词】计量自动化系统;回流;数据备份仓库;数据分析;计量业务

1 引言

广东电网省级集中计量自动化系统的建成,实现了全省计量业务统一规范管理和数据集中应用。但随着各地市供电局个性化数据分析需求的日趋增加,在省级集中计量自动化系统上统一开发、实现比较困难,难以同时兼顾各地市供电局需求;另外地市局部分分析型应用,涉及大量、频繁的数据导入和导出,增大了系统生产数据库负载,一定程度上影响系统性能和业务应用。因此,将省级集中计量自动化系统采集到的海量数据回流到各个地市局就显得尤为必要了。

2 需求

2.1 网络环境

地市数据回流子仓库主要使用综合数据网完成省公司对地市局的数据传输,性能和可靠性高,能提供良好的网络支持。

2.2 数据回流需求

目前,本次数据回流工作主要涉及计量自动化档案、明细数据、月冻结数据、日冻结数据等类型,回流周期每天一次,后续将根据其对生产数据库性能影响评估对数据回流类型和回流周期进行调整。

3 架构规划

3.1 数据回流架构

为切实提高地市数据回流的运行效率,不影响省级集中生产数据库的性能,同时做好数据回流失败后重新传输数据的应急工作,先建立一个中间数据库(即省级数据备份仓库)。数据回流分为两个过程:一是数据先从省级集中计量自动化系统生产数据库完全备份到省级数据备份仓库中;二是数据从省级数据备份仓库回流到各地市局的本地数据回流子仓库。

(1)从生产数据库到省级数据备份仓库同步方式

根据本项目的需求,采用定时数据复制方式,具体实现方式详见3.2数据同步方式。

(2)从省级数据备份仓库到地市本地数据回流子仓库

通过ETL程序将业务数据回流主动推送到各个地市局。将省级数据备份仓库的数据根据需要抽取到ETL服务器中进行清洗、转换和集成。可在ETL引擎中或者也可在数据抽取过程中利用关系数据库特征进行数据转换和加工。在ETL引擎中进行数据转换和加工,比直接通过SQL语句进行转换和加工更简单清晰,性能更高,对于SQL语句无法处理的数据可以由ETL引擎处理。

3.2 数据回流策略

针对各个业务系统表的特点,采用不同的ETL回流策略,总结目前业务系统表的特点分类及其回流方式如下:

(1)同步方式

全删全插:档案、月数据这类表分解到19个地市局采用全量同步方式进行回流,即先清除地市表中的数据,再根据地市编码回流数据到每个地市局,每张表都可以在2分钟以内回流完毕。采用全删除再插入方式具有开发简单、回流占用服务器资源少,从而降低出错的可能性等优点。即使出现报错,需要人工处理,也能在2分钟内完成重新回流。

部分删除插入:计量系统业务数据表,如负荷、表码、告警等这类表其数据量随着时间增长会越来越大,因此采用部分删除插入方式。

(2)同步周期

本方案同步周期考虑按照‘实时/日/周方式进行规划;目前,将根据地市局提出的数据同步实时性需求,结合对计量自动化系统生产库、省级数据备份仓库性能压力的影响,制定合理的同步周期,经测试验证通过之后,方可调整相关同步策略。

(3)数据保存机制

在省侧ETL服务器上将保存近10天的数据,保存时间为7天,超过7天后,省侧服务器将不再保证数据的有效性。即下一个打包周期对上一个打包周期的数据有效性和异常问题不再进行处理。

(4)数据回流日志监控

通过ETL程序,对数据回流的日志进行监控。根据用户定义的日志级别,记录整个数据传输过程中成功或失败的详细信息,方便系统维护人员或系统管理员监控数据回流情况。

(5)数据同步方式

定时数据复制方式,硬件采用2臺595+EMC存储实现,采用在生产数据库中部署ETL工具将地市局所需的部分数据至省级数据备份仓库。该同步方式实施周期短,后续运维工作量少,根据目前业务需求以及一体机性能,完全能够满足本次项目的需求。根据抽取周期对数据进行抽取(最短以天为单位),需要另行采购或者开发ETL工具。

(6)应急策略

由于数据回流过程中,受业务系统、数据库、网络等环境影响,可能会导致数据库损坏、数据表损坏,正常业务受损、数据无法正常回流等情况。为了保证数据能够可靠地回流到各地市局,又不对业务产生影响,针对主要异常情况提出以下应急策略:

(6.1)数据库损坏

在省级数据备份仓库中,由于采用数据复制方式将生产库的数据同步到省级数据备份仓库中,只有读操作,理论上不会对生产数据库产生破坏性影响,万一遭到破坏导致数据库无法使用,将立即停止省级数据备份仓库和同步进程的运行,优先保证生产数据库运行,待问题处理完成后,重新恢复省级数据备份仓库的运行。

如果地市局本地数据回流子仓库损坏,由于将生产数据库同步到省级数据备份仓库中采用ETL抽取方式,只需要将程序重新运行一次,抽取生产数据库中的部分数据全部同步过去即可。由于这个过程比较耗时,需在非业务处理时间执行,避免对业务造成影响。

(6.2)数据表损坏

当数据表损坏后所采用的恢复手段与数据库损坏后采用的方法类似,只是不要恢复整个数据库,由于数据库表都带有时间戳,只需要对损坏的数据库表进行恢复。省级数据备份仓库的数据表损坏时,只需指定同步该表,重新刷新一次该表即可。

当地市局本地数据回流子仓库损坏,运行一次针对损坏表的同步回流程序,将已损坏的表回流到地市局即可。

(6.3)性能下降

影响生产库性能下降的因素较多,业务操作是影响性能最大的因素,通过定时数据复制方式进行数据复制,由于该方式适用于同步数据量不大,同步周期要求不高的场合,并且可以在非业务处理时间段执行,因此,对性能影响比较小。同时针对生产库的关键性能指标进行监控,当达到预定阈值时,查询原因,暂停运行同步程序,待性能恢复后,再恢复程序。

4 结论

该项研究根据广东电网省级集中计量自动化系统数据回流工作要求,从数据回流的技术方法和架构设计进行阐述,针对不同的数据特点提出不同的数据回流策略,并描述了数据回流ETL(抽取、转换、加载)的操作流程,为后续数据回流具体实施工作提供参考。

参考文献:

[1] 伍江瑶.广东电网数据回流系统ETL的设计与实现[J].自动化与仪器仪表,2017(6):80-83.

[2] 陈晔,肖勇,阙华坤等.广东电网省级集中式电能计量自动化系统建设[J].广东电力,2014(11):150-154.

(作者单位:1.广东电网有限责任公司云浮供电局;2.3.4.5.广东电网有限责任公司计量中心)

猜你喜欢

数据分析
电子物证检验的数据分析与信息应用研究
基于matlab曲线拟合的数据预测分析
分众媒体趋势下场景营销的商业前景
佛山某给水管线控制测量探讨
SPSS在环境地球化学中的应用
大数据时代高校数据管理的思考
新常态下集团公司内部审计工作研究
浅析大数据时代对企业营销模式的影响
基于读者到馆行为数据分析的高校图书馆服务优化建议