基于最大信息挖掘宽度学习系统短期电力负荷预测研究

2022-03-16杨光雨李晓航

电测与仪表 2022年3期

杨光雨，李晓航

(1.国网河南省电力公司检修公司, 郑州 450000； 2. 国网河南省电力公司平顶山供电公司，河南平顶山 467001)

0 引言

混沌时间序列预测对于许多领域都是十分重要的技术手段，比如天气预测、电力预测和成绩预测等,因此得到了广泛的关注[1-2]。然而，线性方法不足以学习时间序列的非线性模式，因此学者们开始将注意力放在非线性模型混沌时间序列预测的研究上[3-4]。

混沌动力系统中，尤其是电力负荷预测中，由于各种因素的影响，存在着不稳定的因素：线性相关、非线性决定机制、混沌机制以及噪声等[5-6]。最大化信息挖掘(Maximum Information Excavate，MIE)可以看作是充分提取数据中的特征并充分利用它们[7]。反向传播算法利用反向传播误差来更新权重以减少输出误差，在一定程度上可以看作是MIE的早期阶段[8]。此外，学者们开始关注网络架构的研究，以达到最大的功能利用率。文献[9]从实际运行的风电场获得了相关风速、环境温度和风电功率的历史数据，建立了基于径向基函数(Radial Basis Function，RBF)神经元网络的短期风电功率预测模型。文献[10]提出了基于粗糙集理论的改进神经网络算法，并将其应用于短期负荷预测。文献[11]采用主成分分析法(Principal Component Analysis，PCA)减少变量数，用神经网络动态集成的方法构建出较强泛化能力的反向传播(Back Propagation，BP)网络集成。这些方法通过建立快捷连接来确保信息的完整性，但是为了获得较好的预测效果，上述方法训练时间较长，需要的样本较多，且模型的可解释性较差。

为提高预测速度，文献[12]基于泄漏积分型回声状态网络(Leaky Integral Echo State Network，LIESN)，提出了一种基于相似日和LS-SVM微网短期负荷预测方法。文献[13]采用模糊宽度学习系统(Fuzzy Broad Learning System，FBLS)的负荷预测方法，可以有效降低学习时间。文献[14]将随机森林回归算法引入电力系统短期负荷预测中一种基于聚类分析与随机森林的短期负荷滚动预测模型。文献[15]考虑到时间序列的时间特性，在宽度学习系统(Broad Learning System，BLS)的特征节点中引入了一种储层结构，用于时间序列的动态模式提取。虽然这几种方法有效解决了训练时间与模型解释性问题，但是仍旧未能充分挖掘混沌系统的演化信息，使得预测精度的提升有限。

为了提高电力负荷的预测精度，减少训练时间，提出了一种基于MIE-BLS多核LS-SVM短期电力负荷预测。为了有效地捕捉电力负荷的非线性信息，引入了一种改进的漏积分器动态储层，不仅可以获取系统当前状态的信息，而且可以学习历史信息。进一步通过非线性随机映射从而充分挖掘非线性信息。然后提出了一种多核LS-SVM预测模型，有效综合了各个核函数的优点。最后通过实验证明了提出方法的有效性。

1 最大信息挖掘广域学习系统

1.1 改进的漏积分器动态储层

提出的MIE-BLS包括建立进化模型和动态特征激活。采用没有非线性激活的改进泄漏积分型动态隐藏层将系统的当前状态和历史状态进行整合。将模拟系统隐藏层的状态发送到增强层，以提取非线性信息，并在大规模时间序列预测应用中快速建模。此外，动态隐藏层和随机非线性增强特征与输出层同时连接。

假设重建的输入数据矩阵为U=[u1,u2,…,uN]T∈RN×K，其中N为样本大小，K代表输入维数。相应的渗漏积分神经元的动态隐藏层状态更新公式为:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+ax(t))

(1)

线性转换公式为：

x(t+1)=(1-a)(Wresx(t)+Winu(t+1)+ax(t))

(2)

此线性传递方法使动态系统中的信息流最大化，激活了新状态和历史状态之间的相互作用[16]。为了避免隐藏层稀疏性带来的不确定性，在模型中引入了全连接层。将所有更新后的隐藏层状态定义为:

(3)

随机映射表示为：

Hj=ξ(PWhj+βhj),j=1,2,...,m

(4)

式中Whj和βhj随机生成的，表示权重和偏差；P代表隐藏层状态信息；m为增强节点个数。增强层的输出为Hm=[H1,H2,…,Hm]。Hj代表相应的映射值，假设U对应的输出为Y，则：

Y=[P|Hm]W=AW

(5)

式中W是MIE-BLS的输出权重，A=[P|Hm]W∈RN×(n+m)。采用岭回归算法求解输出矩阵：

W=(ATA+λI)-1ATY

(6)

式中λ是正则化参数。岭回归作为一种专用于共线性数据分析的有偏估计回归方法，对病态数据的拟合要强于最小二乘法，因此将该方法用于计算输出权重。

改进了BLS之后，就要进一步引入到最大信息挖掘机制中。

1.2 最大信息挖掘

传统神经网络不同层之间传输存在信息丢失。特征提取的本质是提取回归/分类的本质特征，避免信息丢失。从混沌时间序列预测的角度来看，MIE应该最终利用混沌时间序列中的线性相关性、非线性确定性和混沌性。如图1所示，采用了两种基本机制来保证混沌动力学系统的MIE：改进的泄漏积分隐藏层代表相互作用机制和具有随机映射的增强层代表层叠机制。这两种技术增强了MIE且将功能重新激活。

图1 MIE理论描述

MIE与传统方法的区别在于学习了历史信息，考虑了状态之间的相关性，从而有效地提升了信息的挖掘深度，并探索最多数量的信息。另外为了能够充分挖掘非线性信息，必须进一步引入非线性随机映射。

1.3 随机映射分析

假设高维特征为u∈Rm，低维特征为v∈Rn，随机矩阵为A∈Rn×m,n<

(7)

式中δ表示极小的正数。JL定理也为上述结果提供了理论支持。

JL定理：假设存在U=[u1,u2,…,ud]∈Rm×d且0<δ<1，β> 0，令：

(8)

对于U中的任何两个向量ui,uj(i≠j)，都有一个映射f：Rm→Rn。将映射f定义为随机矩阵A，并将矩阵中的元素定义为A(i,j)=aij，此时，需要满足：

(9)

基于最大信息挖掘广域学习系统的混沌时间序列预测算法流程如图2所示。

图2 混沌时间序列预测流程图

2 LS-SVM

2.1 SVM

支持向量机作为一种经典的机器学习算法，一经提出便得到了广泛的研究，在模式识别、系统辨识、建模等领域得到了应用[17]。Vapnik提出的ε不敏感损失函数表达为:

训练集{(xi,yi),i=1,2,...l}，xi∈Rn是样本的第i个输入，yi∈R是对应的第i个输出，l表示样本数目。则ε不敏感损失函数是：

(10)

其中f(x)是通过对训练数据进行机器学习得到的估计函数，y是实际输出值，ε是敏感参数。此方法的目标是通过不断调整网络模型，使获得的f(x)与实际输出之间的误差在ε范围内，并且使网络的维度最小化，确定好网络模型之后，在预测新的数据集x的时候，就可以获得高精度的预测输出。

当需要拟合的数据为非线性数据的时候，将非线性函数φ(x)进行线性化处理，处理方式为：

f(x)=ωφ(x)+b

(11)

其中，ω∈Rn，b是偏差量。式(11)求取回归估计函数f(x)可以变为优化过程：

(12)

式中，C>0，称为正则化参数，当C越大则说明拟合的数据值与实际值的误差越大。ξi是松弛变量。将式(12)采用Lagrange方法变成对偶问题[18]。

(13)

(14)

式中的b求取过程为：

(15)

2.2 最小二乘支持向量机算法

传统的SVM具有较强的拟合和泛化性能，但是在求取SV的时候要进行二次规划，因此提出了LS-SVM提升计算效率[20-24]。基于此，为了实现电力系统暂态分析的实时在线预测功能，提出了一种改进的LS-SVM算法。

LS-SVM采用了二次偏离系数C，并将原问题转变成在yi=ωTφ(xi)+b+ei,i=1,2,...,N成立的条件下，使训练误差最小。

(16)

式中ei为误差。对上述问题采用Lagrange定理求解，得到：

(17)

(18)

对式(16)联立简化后得：

(19)

式中a=[a1,a2,a3,...,aN]T为Lagrange算子，1e=[1,1,1,...,1]T，y=[y1,y2,y3,...,yN]T。I为单位矩阵，K为核函数矩阵。K(i,j)=k(xi,xj)=φT(xi)φ(xj)表示K的第i行第j列元素。则将回归估计方程线性化后的方程为：

K(i,j)=k(xi,xj)=φT(xi)φ(xj)

(20)

解式(17)求得ai和b，LS-SVM的模型预测输出为：

(21)

3 仿真实验

3.1 实例1

实例1中所有电力负荷数据均来自于A市电业局，训练集包括2017.03.06～2017.03.12间的负荷数据，由于双休日与工作日的生产生活方式有明显差异，因此必须区分两种情况进行预测。

实验中，所有数据集按9:1的比例分成训练集和测试集。选择了一些其他方法进行比较：文献[13]提出的LIESN算法、文献[14]提出的FBLS算法和文献[15]提出的流形结构宽度学习系统(Structured Manifold Broad Learning System，SM-BLS)算法。用均方根误差(Root Mean Square Error，RMSE)、标准均方根误差(Normalized Root Mean Square Error，NRMSE)、平均绝对误差(Mean Absolute Error，MAE)以及对称平均绝对百分比误差(Symmetric Mean Absolute Percentage Error，SMAPE)四个指标来评价预测性能，指标的计算公式可以参考文献[25]。由于周中与周末电力负荷变化较大，将所有的数据分割为周中和周末。具体的预测对比结果如图3所示，具体的预测指标如表1所示。在线预测的周中选取为:2017.03.13，周末选择为: 2017.03.18。

图3 2017.03.13日的电力负荷预测结果

表1 2017.03.13日的电力负荷预测误差表

从表1中可以看出，提出方法的平均相对误差为4.35%，相比较于FBLS方法与SM-BLS的平均误差分别减小了1.21%和2.12%，证明了广义学习系统的引入能够提升预测精度，另外多核函数对提高预测精度也有积极作用，而且对比SM-BLS方法与FBLS方法可知，提出方法相对于广义学习系统，具有更高的预测精度。

进一步对2017.03.18 日A市的电力负荷进行预测，结果如图4所示。

图4 2017.03.18日的电力负荷预测结果

同理，从2017.03.18的电力负荷预测结果中可以得出相似结论，见表2。

表2 2017.03.18日的电力负荷预测误差表

3.2 实例2

对B市的两组数据集进行了MIE-BLS的进一步验证。将B市全市2016年国庆7天内电力负荷作为预测变量，预测对比结果见表3，三步预测结果对比见表4，从表3和表4可以看出，MIE-BLS在实际数据集的训练和测试过程中都取得了最好的效果，其中一步中预测训练数据MIE-BLS的MAE相对于LIESN、FBLS和SM-BLS分别减少了22.2%、 64.5%、 3.6%。测试数据的MAE分别下降了13.0%、 68.9%、 11.7%。三步中预测训练数据MIE-BLS的MAE相对于LIESN、FBLS和SM-BLS分别减少了7.2%、 16.9%、 6.1%。测试数据的MAE分别下降了5.4%、 21.7%、 11.9%。在表3和表4的大多数实验数据表明，测试集的训练结果优于训练集。这对时间序列的分析是合理且实用的。与图像不同，时间序列包含着丰富的动态信息。此外，混沌时间序列的演化不是一成不变的，它表现为线性相关、非线性确定性和混沌性。该数据集的时间跨度很长，训练集占总数据量的90%，包含有较大的波动和噪声。而测试集的波动相对较小，比训练数据包含的噪声少。相应的三步预测曲线如图5所示。虽然预测动态波动剧烈时的结果准确率不高，但预测误差在可接受范围内。

表3 B市国庆电力负荷的一步预测性能的比较

表4 B市国庆电力负荷的三步预测性能的比较

图5 MIE-BI三步预测B市市国庆节电力负荷的结果

B市国庆电力负荷预测结果进一步证明了该方法的实用性和有效性。预测误差曲线如图6所示，可以看出预测误差在可接受范围内，无较大偏差。文中方法的一步预测结果与其他方法的比较如表5所示。其中一步中预测训练数据MIE-BLS的MAE相对于LIESN、FBLS和SM-BLS分别减少了33.8%、 43.5%、 3.0%。测试数据的MAE分别下降了37.0%、 46.7%、 6.2%。尽管两种方法的RMSE没有太大差别，但SM-BLS的NRMSE明显大于MIE-BLS，可能因为所提出的方法能够动态捕捉时间信息，从而成功地捕捉到混沌时间序列的峰值。