吴丽贤, 林钰杰, 陈灏生, 张远雄, 陈磊

(1.广东电网有限责任公司 佛山供电局, 广东 佛山 528000; 2.广东卓维网络有限公司, 广东 佛山 528000)

0 引言

随着我国电网智能化的升级和改造，电网的规模在不断的扩大，输变电网络产生的数据也不断的增多[1]。因此，对数据的处理技术要求也越来越高，如何高效地解决电力设备和机器运行过程中出现的问题，提高设备的使用效率和降低电力机器设备的运维成本，这些问题是电力企业智能化升级改造的重点内容[2]。传统的数据存储模式是静止的、定量的，适用于数据体量比较小的实时存储和处理。传统的数据实时流处理技术是将数据存储到数据库中，需要对设备的运行状况进行判断时，从数据库中提取相应的数据进行处理[3]；这种数据处理模式可以较好地反应出电力设备运行的状况，但是不能够实时地对电力设备的状况进行了解。

为了更好地解决大数据和智能电网环境下，电网设备的实时运行状况，研发出了基于大量机器和大数据的数据实时流处理技术[4]。该技术可以对电力设备上传的监测数据进行实时的处理、分析，并对电力设备的运行状况进行预判。在数据分析的基础上，可以实时监测电力设备和机器的状况，提高运维人员的工作效率和电力设备的使用效率，实现智能电网环境下电力设备的精细化管理[5]。

本文在电网海量机器数据处理技术的基础上，进一步研究电网设备监测数据的流处理技术,提升数据处理性能，提高电网的运维效率，保障电网的安全运行。本文研究的海量机器数据实时流处理技术对提高电网设备的检修水平和智能化程度有着重要的意义，为保障智能电网的安全运行提供了技术基础。

1 数据流特点及处理技术

1.1 数据流特点

数据流处理技术的对象是智能电网中设备的运行监测数据，数据流是将时间参数融入进数据的一种描述方法，数据流有更强的时间特性。数据流可以在一定的时间段内，传输大量的信息[5]。本文总结了数据流的主要特点如下所述。

(1)海量性。数据流是随时间参数变化的因变量，其包含数据的量随着时间增长而不断增长。

(2)高速性。由于数据是随时间不断累积的，电力设备的监测数据可以精确到秒乃至更高，因此数据的传输速度也非常高。

(3)实时性。可以把数据流看作是关于时间的函数，因此每一个时刻对应一个或多个数据，这些数据随着时间的变化不断更新，具有实时的特性。

(4)多维性。由于电网设备和机器的监测内容不止一项，因此在某一时刻可以产生多个数据，这些数据分别从不同的角度对该机器进行描述。所以，电网设备和机器产生的数据流具有多维的特点[6]。

1.2 数据流与传统数据的区别

数据流与传统的数据有很大的差异，主要体现如下。

(1)数据流的数据体量比较大。传统的数据量通常是有限的，变化量比较少，数据流中的数据是随着时间不断的累积的，所以数据流的体量比较大。

(2)数据读取方式不同。由于传统的机器监测数据是先储存在存储介质中的，所以传统的数据在进行计算等操作时需要多次读取才可以[7]。

(3)处理结果不同。传统的数据比较固定、变化量比较少，因此传统的数据处理结果比较固定,数据流变化比较大，因此其处理结果不唯一。

(4)数据更新速度不同。传统的数据比较固定，更新速度比较慢，数据流中的数据随着时间不断的发生着变化，不断的进行更新。

1.3 数据流处理技术

目前，已经研发出一些数据流处理相关的技术，本文根据数据流处理技术的相应范围，将数据流处理技术划分为以下几种[8]。

(1)数据流模型处理技术。该数据处理模型可以处理某一段时间内相应的数据，但是随着时间长度的增加，数据处理的数量也增加。本技术适用于算法占用空间比较小的数据处理，因此大规模数据环境下不适用。

(2)滑动窗口模型处理技术。该处理技术在处理数据时没有明显的界定范围，该技术可以通过滑动窗口更新数据。因此，该技术可以实时地对变化的数据进行相应的处理。

(3)数据流概要处理技术。本文在研究现有的数据流处理技术的基础上，提出了选用数据流概要生成算法的处理技术。目前，数据流概要生成算法已经有一些处理技术，该技术主要针对数据流的某些特征进行处理[9]。常用的数据流概要生成算法主要有哈希算法、直方图算法、抽样算法等。

2 数据流概要处理技术设计

2.1 数据流概要处理技术模型构建

目前，数据流概要生成常用的方法主要有抽样方法、直图方法、哈希方法和小波方法[10]。其关系结构如图1所示。

图1 模型概要处理技术模型方法及关系示意图

模型概要处理技术是基于抽样算法技术发展起来的，该模型的关键是样本抽样过程中每个样本被抽中的概率是相同的。直方图方法是将数据流分化成不同的类别，该方法的特点是比较直观地对数据进行划分[11]。小波方法利用数字信号处理数据流的技术，处理过程中将数据流转换成小波系数进行处理，该技术可以对多维数据进行降维处理，因此较快速地处理多维数据。

2.2 数据流概要模型算法设计

(1)算法设计的基本原则

本文首先对电网设备监测数据进行了分析，并总结了电网设备数据流概要模型处理算法的基本要求：数据抽样时应该能够满足抽样的公平性；算法应该具有一定的稳定性；抽样的时空分布应该分布均匀[12]。

(2)算法基本框架设计

本文在流数据概要处理的一般技术和算法设计基本原则的基础上，根据电网设备运行监测数据和特性进行抽样提取，将关键数据应用于后续的分析和预测[13]。本文初步设计的算法运行流程如图2所示。

图2 算法运行流程示意图

本文提出数据流概要处理模型算法结合了UBCS滑动窗口数据流模型的相关技术，可以通过截取时间段的数据流进行处理，在电网设备检测数据处理应用中有更高的价值[14]。本文设计的算法的具体执行过程如下。

(1) 选定数据流单元的索引，并以其对应的实际元素进行存储并检测异常数值。

(2) 若窗口内的数据量超过窗口大小时，刷新数据、释放相应的内存。

(3) 若存在多余的窗口时，则随机释放一个窗口。

(4) 重复上述步骤，选出数据流概要处理模型。

3 数据流处理模型设计

本文设计的数据流处理计算模型，在流数据概要处理技术的基础上，提出了将智能挖掘技术应用到电网数据流处理中的概念[15]。数据挖掘技术可以快速地从海量数据中寻找到需要的数据进行分析，有助于数据流实时处理技术的实现。

3.1 数据流风险识别

本文针对数据流与传统数据差异的基础上，对数据流的操作过程中重点考虑了以下几点[16]。

(1) 时效性

数据流是随时间不断变化的，在数据流处理时也应考虑该特性，即数据处理的时效性。

(2) 稳定性

与传统的数据不同，流数据是处于实时变化过程中的，因此数据的处理也会实时的发生变化。稳定性是流数据处理模型应该重点考虑的内容，本文设计的模型采取了相应的措施保证数据处理的稳定性，其流数据的处理逻辑如图3所示。

图3 流数据处理逻辑关系示意图

该流数据处理逻辑可以针对随着时间不断变化的数据进行更新，并且不断更新数据概要模型。被更新的数据则会进行缓存并进行高级処理(数据的分类、聚类及结果的预测等操作)。

3.2 数据流挖掘算法框架设计

在大数据处理的需求不断提高的今天，数据挖掘技术已经得到了突飞猛进的发展。数据流的聚类算法是在传统的聚类算法基础上发展而来的，主要对数据流中的数据进行聚类分析。常用的数据流聚类处理算法主要包括lslream算法、Cluream算法及高维数据流聚类算法等。

本文设计的数据流挖掘算法的框架及步骤如下所示。

(1) 选取合适大小的滑动窗口及概要数据提取频率。通过设置合理的滑动窗口与概要模型提取频率，选取合理的处理算法。

(2) 对滑动窗口内的数据进行概要构建，同时概要模型要能够实时増量更新。

(3) 选挥合理的聚类与分类算法，对概要模型进行处理。

本文设计的数据流挖掘处理流程如图4所示。

图4 数据流挖掘处理框架设计

4 模型测试与应用

本文在收集的100组变压器运行监测数据的基础上，对流数据处理模型进行了测试。本次测试的数据包含了变压器常见的故障：电力设备低能放电、低中温热故障、高能放电、高温故障及正常等几种情况。

模型通过CLUSTER对数据集进行验证对比，并分析此两类方法对数据分类的时间效率、分类准确率、有效数据删除比率等方面进行比较。先后通过设定滑动窗口尺寸(30)，将数据流分类设定为3类，误差参数为0.3，在线聚类层设定聚类值为14。通过一系列运算，得出了模型的运算结果。

结果显示，本文设计的数据流处理模型准确率比传统算法提高10%，实时处理能力比传统算法的运行能力提高43%。

5 总结

随着电网的智能化升级改造，电力系统产生大量的设备监测数据，传统的电力设备数据处理技术已经不能满足现阶段的需要。能够实时计算、处理海量数据的技术亟需研发和升级，通过本文关于流数据的研究，可以得出以下结论。

(1)本文对智能电网设备产生的流数据的一般特点进行了深入的分析，例如海量性、实时性等特点；流数据与传统数据不同，其数据流的数据体量比较大、数据读取方式不同、处理结果不同、数据更新速度不同。

(2)本文在数据流概要处理模型算法的基础上，结合数据挖掘技术，提出了数据流处理模型。该模型可以更加快速的、实时地对数据进行处理，对电网智能化升级改造和精细化管理有十分重要的意义。