房金彦，应忠德，罗 诚

（国网江西省电力有限公司，江西 南昌 330077）

0 引言

电网调度在生产和各种业务运用中积攒了大量运行数据，通过对这些运行数据的深入、全面分析，可以促进运营管理决策的科学性和提高企业经济效益。随着数据应用需求增多，更多数据层面的问题被暴露出来，调度机构内部业务系统较多，管理相互独立，数据存储分散，取自于调度不同系统的数据虽然量大却纷繁复杂，严重地阻碍了对数据价值的提取和挖掘，这就使得整合各系统数据成为调度机构提升数字化水平的关键所在。

同时，公司其它部门对调度数据的需求也日益增多，迫切需要调度机构建立统一的电网运行数据汇集系统，汇集省地调度机构电力生产数据，面向公司各业务部门提供电网运行、在线分析、现货交易、调度管理、调度计划、新能源等多业务信息，面向政府、监管部门、电力市场主体提供不同类型的信息服务。

1 调控云平台

调控云是适应电网一体化运行特征，以电网运行和调控管理业务为需求导向，依托云计算、大数据和移动互联网等IT 技术，形成“资源虚拟化、数据标准化、应用服务化”的调控技术支撑体系[1-3]。通过虚拟机、容器、应用包等方式实现应用的快速部署，实现服务的智能管理、按需访问。通过数据对象的标准化设计，实现数据存储标准化，便于数据分布式维护和同步共享，通过规范通信协议、服务协议的方式，实现数据交互标准化，便于异构系统互联，提高数据交互效率。

调控云面向服务的体系架构（SOA）技术[4-5]，采用的虚拟化、分布式资源管理和并行编程技术使运行数据汇集能够灵活使用、调配需要的基础资源，提升运维效率。运行数据汇集系统依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术，利用调控云在资源共享、运维效率和业务连续性等方面的优势，对不同系统的海量数据进行分布式抽取，实现调度机构各业务系统数据整合并提供给各业务部门使用。

2 电网运行数据汇集

依据《电力调度通用数据对象结构化设计》，电网运行数据主要包括量测数据、运行事件、外部环境事件、计划预测数据、特征数据等[2]，这些数据都存储在原有业务系统中。电网调度运行数据汇集通过数据接收、数据存储、数据服务，实现各级调度机构运行数据汇集和全面存储，为各类应用提供可靠的运行数据服务。电网调度运行数据汇集架构如图1所示。

图1 电网调度运行数据汇集架构

2.1 数据接收

调控云数据同步程序接收从各系统源数据端发送来的消息对象，并对消息对象解析，然后将源数据端变化数据更新至云端数据库。数据接收功能包括数据映射、抽取转换等。

1）数据映射

数据映射是在两个数据模型之间建立起数据元素的对应关系，实现系统之间关系的建立，是很多数据汇集任务的第一步。运行数据汇集系统是从不同源端系统获取数据，这些系统各自独立，必须通过设备ID 关系对照建立互联。调控云运行数据汇集系统在抽取数据前先要将调控云设备ID 与抽取系统设备ID关系进行对照。

2）数据抽取转换

数据抽取是从各个不同的数据源抽取到运行数据汇集系统。数据抽取的方法选取需要考虑提高抽取效率和对各业务系统数据库的影响，同时要考虑增量抽取问题。运行数据汇集系统利用kettle 工具和SQL结合方式实现对源端系统数据抽取汇集，数据抽取遵循标准的消息报文。规范的消息报文包括：源数据端在线状态汇报心跳消息报文定义、数据增量汇集消息报文定义、源数据端补召状态汇报消息报文定义及数据补召命令与汇集消息报文定义。

数据采集模块按预定周期从各系统数据库中获取运行数据后封装成相应的运行数据传输报文，包括量测数据报文、告警数据报文等类型。量测类型数据报文由消息头和消息主体两个部分组成，如图2所示。

图2 量测类型数据消息报文

数据转换的任务主要是进行不一致的数据转换，这个过程是一个整合的过程，将运行数据汇集的不同业务系统相同类型的数据统一，比如源端EMS 系统ID 编码是XX0001，而在汇集系统中编码是YY0001，这样在抽取过来之后统一转换成一个编码YY0001，数据按照汇集系统的设备编码存储。

3）数据传输

运行数据的汇集通过调控云平台的消息总线集群进行[6]。消息总线提供基于订阅/发布的消息传输方式，集群化部署，支持每秒十万级的消息传输，支持JAVA/C 两种编程语言，调控云消息总线的整体架构图如图3所示。

图3 调控云消息总线架构图

各调度机构Ⅲ区的数据获取服务通过消息总线发送接口将消息发送到云平台消息总线集群中。部署于调控云平台的运行数据存储服务通过消息总线接口订阅该主题消息并接收消息，解析收到的数据，插入到数据库中存储。

2.2 数据存储

调控云平台的运行数据存储分为关系数据库存储和列式数据库存储两种存储方式，在存储不同类型的数据时，要选择适合的存储方式。通过对大量运行数据汇集至两种数据库的性能测试对比发现，列式数据库的读写速率和数据表查询效率要明显高于关系数据库，因此江西运行数据汇集系统的存储方式采用列式数据库存储，数据存储逻辑如图4所示。

图4 运行数据汇集数据存储

2.3 数据服务

运行数据汇集系统接受省地调各业务系统数据和外部系统的其它数据，以多种发布方式提供给公司数据中台，供公司其它部门使用。同时接受来自公司数据中台和其它系统的外部数据，提供给调控机构各业务系统使用，形成调控中心内外业务系统数据交换枢纽。

调控云平台的运行数据服务提供总线服务以及计算、交互和展示服务，应用于数据的查询和分析。运行数据汇集系统所采用的调控云服务如表1所示。

表1 调控云基本服务列表

2.4 数据安全

数据安全就是要保护数据免受威胁的影响，从而确保运行数据汇集系统的连续性，缩减业务平台可能面临的风险，保证数据信息的可用性、完整性、机密性。运行数据汇集系统提供对数据的安全管理功能，主要包括：备份管理、权限管理、痕迹管理。

2.4.1 备份管理

为规避系统破坏和使用过程中的风险，必须要对存储的运行数据进行定期备份工作。

防止系统破坏进行的备份使运行数据系统硬件、软件受到内外部破坏后数据能够得到尽快恢复。内部破坏防范：当服务器配置更新变动以及服务器应用系统、软件修改后均要在改动当天进行备份。外部破坏防范：为防止系统硬件破坏，通过异地建立调控云平台站点，站点之间软硬件部署相同，读写同步，实现硬件层面上数据安全；运行数据系统软件部署在调控云平台的虚拟机上，分布式存储的三种备份方式可以实现软件层面上运行数据的安全。

防止使用过程中数据风险进行的备份主要是针对数据删除或不正确修改等操作。主要措施是定期对数据库进行全量自动备份，一般是一周一次，每天定时对增量数据进行自动备份，备份要有明确的标识。备份的标识要注明备份时间、备份内容、备份路径等信息。自动备份失败情况下设定短信通知，并采取手工备份或其它方式及时备份，定期对备份日志进行检查，对重要数据实现异地备份。

2.4.2 权限管理

数据安全涉及的人员有拥有者、管理者、访问者。拥有者是各源系统数据录入者，拥有数据修改、删除等权限；管理者负责数据的日常管理和维护；访问者是在授权范围内访问所需数据，要确保访问对象的完整性、机密性、可用性等。

运行数据汇集系统利用调控云平台的权限服务规范数据的操作和使用权限，明确人员的录入权限、访问权限及维护权限，设置管理员用户和数据查询用户的操作权限，加强用户身份验证管理等。通过权限管理功能，对运行数据的维护、验证、订阅、发布等功能进行权限控制，只有具备相应权限的用户才能执行相应的操作。

2.4.3 痕迹管理

痕迹管理就是要把数据及系统的维护使用过程中的每一个步骤和环节都留下印记，并加以整理和保存，通过痕迹的查证，可以有效复原已经发生了的各项操作，保证数据及系统的各项操作可追溯、可还原、可追责。

运行数据汇集系统利用调控云平台的日志管理服务功能实现对各项操作的痕迹管理。日志管理主要记录各类人员的操作日志、系统的运行日志、业务和系统异常故障日志，提供日志的存储、查询等统一管理功能。

3 数据汇集系统管理

为保证数据质量及系统的稳定性，需要及时监视数据汇集系统的工作状态，优化系统数据抽取工具，提高数据汇集效率。

3.1 传输任务设置

运行数据汇集系统具备设置数据抽取任务启停、周期控制和策略控制功能，可控制任务启停状态以及数据源端与目标系统之间数据交互周期，并针对不同传输方式的传输速率大小、次数等进行控制。

3.2 数据中断监视

由于业务系统、网络等原因，会出现数据抽取过程中同步任务中断，需要对数据中断的监视和中断的数据重传，重传需要确保数据重复的问题、断点续传的问题。

1）网络链接监视。运行数据汇集系统对源系统数据网络传输稳定性监视，定时通过网络连接方式判断源端系统是否离线，并且有告警信息发出或短信通知，精确提示哪套源端数据系统网络链接问题，需要运维人员尽快处理。

2）数据传输监视。运行数据汇集系统对源数据传输的及时性以及是否漏传具备判断功能。通过计算数据大小进行判别，若某个时间段的数据量与以往同时间段对比出现异常，则判断获取数据异常，通过定时提醒方式提示运维人员尽快进行补传。

3）数据补召。在运行数据汇集系统因某种故障原因（如数据库故障）不能完成数据增量汇集，为保障运行数据完整性，系统通过下发数据补召命令消息报文，源数据端接收消息报文后进行数据抽取与发送，完成数据接收与存储，实现异常情况下数据完整性保障。

3.3 负载均衡

在数据抽取过程中，各业务系统抽取的数据量不同，部分服务器需要抽取大量数据，对系统的上传速度和承载能力提出了挑战，系统面临着传输速度慢以及存储不足的困扰。而其它服务器由于抽取数据量小，服务器上传速度和承载能力都较低。

源系统抽取的数据通过消息总线传输机制，被分块加密并高效传输至数据汇集系统。利用调控云平台的负载均衡调度服务器，将来自于不同源端的数据分摊到多个数据汇集服务器，然后这些服务器将数据写入列式数据库存储，实现了数据的快速汇总和集中存储。负载均衡逻辑结构如图5所示。

图5 负载均衡逻辑结构图

3.4 告警展示

为保证数据质量及系统的稳定性，需要及时监视数据汇集系统的工作状态，将采集通信状态，数据汇集质量，异常告警以图形、列表等可视化形式展示。具备任务执行情况监视、运行情况监视和异常告警功能，可对数据汇集过程中任务执行进行实时监视，可对历史数据汇集情况进行统计分析，并提供异常告警服务。

4 结语

调度运行数据汇集系统减轻了调度各业务系统对外提供数据的压力，使各业务系统能更好地对调度机构内外系统提供完整、准确的数据，解决了调度数据多出口问题，提升了调度专业的数字化水平。同时，调度运行数据汇集系统存储的电网运行数据为应用提供的运行数据查询统计以及电网长期运行规律的挖掘、分析等服务，提高了调度运行精益化管理水平。