APP下载

基于互信息的改进RBF神经网络预测模型及其应用

2016-03-23刘蕊鑫纪昌明华北电力大学可再生能源学院北京102206

中国农村水利水电 2016年10期
关键词:互信息径流聚类

刘蕊鑫,纪昌明,马 源(华北电力大学可再生能源学院,北京102206)

径流作为重要的水文要素之一,受气候、地理、环境、人类活动等多方面因素的影响,表现出很强的随机性、模糊性、灰色性、非线性等特性[1]。径流预测精度的提高一直是国内外学者关注的热点问题[2]。径流预测精度的提高在于对历史径流序列的充分挖掘,找出径流变化的规律[3]。常用的预测方法有多元回归模型[4]、模糊模式识别[5]、人工神经网络[6]等方法。

RBF神经网络相比于多层前馈网络(MFN)具有良好的泛化能力,网络结构简单,可以避免不必要的和冗长的计算[7]。RBF神经网络能在一个紧凑集合任意精度下,逼近任何非线性函数[8]。目前在很多领域都有广泛的应用[9-11]。RBF神经网络应用的关键问题之一是神经网络结构设计和网络参数调整的问题,2004年伍长荣[12]提出一种改进的RBF神经网络算法,该算法可以在没有提前获知神经网络结构的前提下,训练出最优结构的RBF神经网络及网络参数。该算法被广泛应用于各个领域[13,14],取得了良好的效果。但该算法存在不足之处,在前期未考虑输入变量(影响因子)选择的问题,神经网络的输入变量过多,会导致网络结构过于复杂,预报误差的增加;输入变量输入过少,又无法很好地解释输出变量的变化机理。在水文预报影响因子选择的问题上,还存在与输出变量在时间上的滞后问题,这使得影响因子的选择更为复杂[15]。针对该问题,本文提出了一种基于互信息的改进RBF神经网络预测模型。采用互信息理论,对神经网络的输入变量进行筛选,选出合理的输入变量,再以网络拟合误差为指标,利用改进的最邻近聚类法确定出神经网络的结构和网络参数。本文以雅砻江流域沪宁水文站为例,将基于互信息的改进RBF神经网络应用到沪宁站日径流预测中。结果表明,改进后的径流预测方法能够很好地改善改进的RBF神经网络算法的缺陷,预测精度较高,是一种有效的短期径流预测方法。

1 互信息理论

目前筛选神经网络输入变量常用的方法有主成分分析法[16]、因果关系分析法[17]、正交最小二乘法[18]等。但皆存在不足之处,主成分分析法虽然操作简单,但水文序列之间一般都存在着复杂的非线性关系,该种方法无法反映出这种非线性关系。因果关系分析法只能给出变量间相关关系的定性描述,无法进行定量的分析。正交最小二乘法能够计算出每个输入变量对输出变量的单独贡献,但计算过程比较复杂。

互信息(mutual information,MI)是用于表征变量相关性的一种方法。互信息的大小代表变量间相关信息的多少,变量耦合越强,互信息越大[19]。互信息既能描述变量间的线性相关关系,也能描述变量间的非线性相关关系,且计算量小,因此在变量选择中得到了广泛的应用[20,21]。

当随机变量X,Y相互独立时,其联合分布密度等于二者边缘分布密度乘积,即:

PX,Y(x,y)=PX(x)PY(y)

(1)

对于离散型随机变量的N个观察值,变量X,Y之间的互信息表达式为:

(2)

2 改进的RBF神经网络算法

RBF神经网络的隐含层个数及网络参数的选择对神经网络的性能有着重要的影响,伍长荣[12]将改进的最邻近聚类法应用于神经网络的结构设计和参数修正中。改进的最邻近聚类法是一种在线自适应动态聚类学习算法,构造神经网络的过程中不必提前获知神经网络隐含层节点的个数,聚类完毕后得到的RBF神经网络结构最佳,并具有学习时间短、计算量小等特点[22]。该算法解决了最邻近聚类算法中未将输出信息考虑入聚类标准、聚类半径固定不变及形成每个聚类后,聚类中心未随样本后期的变化而作出调整的缺点。具体改进方法见本文第3节步骤(4)-(7),这里不在赘述。改进的RBF神经网络预测模型在各领域中的应用均取得了良好的预测效果,是一种有效的预报模型,但该算法并未考虑神经网络输入变量的选择问题,如果考虑变量的选择问题,筛选出合理的输入变量,预测精度有进一步提升的可能性。基于此,本文将互信息应用于该预测模型中,提出了一种基于互信息的改进RBF神经网络预测模型,并以雅砻江流域沪宁水文站日径流预报为例,验证了这种预测模型的可行性。

3 基于互信息的改进RBF神经网络预测模型

针对改进的RBF神经网络算法存在的问题,本文提出了一种基于互信息的改进RBF神经网络算法。找出所有对输出变量可能有影响的影响因子,利用互信息理论选择出与输出变量互信息较大的输入变量;在输入变量选择的基础上,利用改进的最邻近聚类法进行神经网络结构的设计和参数调整,从而改进网络的预测性能。算法步骤如下:

(3)

i,j=1,2,…,N

(4)

(2)变量选择。利用公式(2)计算出每个输入变量与输出变量之间的互信息MI大小,选择满足MI(Xi;Y)>δiMI(Y;Y)的变量,δi∈(0,1)代表相关阈值。确定神经网络输入层节点数和对应的输入变量。

(3)确定神经网络输入层后,为消除各变量的数量级间的差异对神经网络的影响,需要先对所有变量进行归一化处理。

(4)计算筛选后的所有样本之间的距离及平均值:

(6)

i,j=1,2,…,N

选出最靠近样本xi的q个样本,间距分别为di1,di2,…,diq,则平均值为:

(7)

(5)从数据对(x1,y1)开始,将x1作为第1个聚类中心,令A(1)=y1,B(1)=1,并设定一个合理的聚类半径r。

(7)令:

(8)

若:

(9)

则将样本(xk,yk)划入聚类u中,且有:

A(u)=A(u)+yk

(10)

B(u)=B(u)+1

(11)

cutmp=cutmp+xk

(12)

式中:cutmp代表聚类u中全部样本的输入之和。

否则,将(xk,yk)创建为一个新聚类,并且:

A(l+1)=yk

(13)

B(l+1)=1

(14)

ci+1=xk

(15)

(16)

式中:fj代表输入xj时神经网络的输出。

(9)若神经网络拟合误差E满足目标精度要求,则计算结束,当前网络结构和网络参数是该精度下的最优结果。否则利用公式(13)根据精度要求按照梯度下降法调整网络参数r,并返回第(7)步重新计算,直至满足要求为止。

(17)

式中:η∈(0,1)为学习速率。

4 实例应用

沪宁水文站位于雅砻江干流,也是锦屏二级水电站的入库水文站,该站的径流变化对于水电站水库调度、发电及农业灌溉等有重要影响。本文选取沪宁水文站1994-2011年共17 a汛期(5-10月)的天然日径流、降雨量和上游水文站日径流作为分析对象。

采用1994-2010年共16 a汛期(5-10月)的实测径流资料作为训练样本,共3 128组数据。选取可能影响沪宁站日径流的影响因子:选择沪宁站预测日前1日至前5日日流量、沪宁站预测日当日降雨量、预测日前1日至前5日降雨量、三滩站预测日前1日至前5日日径流和乌拉溪站预测日前1日至前5日日径流作为影响因子(三滩和乌拉溪站位于沪宁站上游),共21个影响因子。

计算各影响因子与沪宁站预测日日径流的互信息结果见表1~4。

表1 沪宁站预测日日径流与沪宁站前期日径流之间的互信息Tab.1 Mutual information between Huning forecasting day daily runoff and earlier stage daily runoff

表2 沪宁站预测日日径流与沪宁站前期日降雨量之间的互信息Tab.2 Mutual information between Huning foresting day daily runoff and earlier stage daily rainfall

表3 沪宁站预测日日径流与三滩站前期日径流之间的互信息Tab.3 Mutual information between Huning forecasting day daily runoff and Santan earlier stage daily runoff

表4 沪宁站预测日日径流与乌拉溪站前期日径流之间的互信息Tab.4 Mutual information between Huning forecasting daily runoff and Wu La-xi earlier stage daily runoff

沪宁站预测日日径流的自信息MI=21.138 3,本文取δ1=0.155,δ2=0.064。从表1和表2可得出,输入变量选择沪宁站预测日前1日、前2日、前3日日径流,沪宁站预测日前2日、前3日、前4日、前5日降雨量作为神经网络输入变量。这里要特别说明的是,从表3和表4可以看出,三滩水文站出流经过1日传播至沪宁站,乌拉溪水文站出流经过2日传播至沪宁站,故三滩和乌拉溪站日径流影响因子只选择这2个便可。

采用2011年汛期实测径流资料作为预测对照数据。RBF神经网络采用3层网络结构,输入层包括前沪宁站预测日前1日至前3日日径流、前2日至前5日降雨量、三滩站预测日前1日日径流、乌拉溪站预测日前2日日径流。对数据进行归一化处理,采用改进的最邻近聚类法对神经网络进行训练并作出预测,对最终所得数据实行反归一化处理,并同实际径流资料进行比较分析。

网络训练拟合误差目标越小,拟合精度越高,样本中心宽度也随之减小,但为防止发生过度拟合现象,训练误差目标不宜设定得过低。训练误差目标取E=0.5,经训练得出的神经网络中心宽度为0.095。利用训练完成后得到的神经网络进行2011年汛期日径流的预测,采用确定性系数DC、流量过程相对误差EQ和预报合格率QR3个指标来检验算法对日径流的预测效果进行评定。

DC、EQ和QR的计算方法如下:

(20)

表5显示了基于互信息的改进RBF神经网络预测效果指标与单一RBF神经网络及改进的RBF神经网络预测效果指标的对比,图1显示了3种预报模型预测值和实际值的对比,图2显示了3种预测模型对2011年汛期连续184 d的预报相对误差的绝对值。

表5 预测效果指标对比Tab.5 Comparison of prediction effectiveness index

图1 2011年5-10月日径流预测结果比较Fig.1 Comparison of daily runoff prediction result during May to October, 2011

图2 3种模型预测2011年汛期日径流相对误差绝对值Fig.2 Daily runoff relative error absolute value of three prediction model during flood season in 2011

从表5、图1和图2可以看出基于互信息的改进RBF神经网络预测模型能更好地预测出水文站日径流,相对于单一RBF神经网络和改进的RBF神经网络算法预测结果确定性系数有所提高,流量过程相对误差降低。在2011年汛期连续184 d的变化中,预测相对误差在±20%以内的合格率达到96.20%,平均相对误差2.86%,相对于原算法预测效果有明显提升。但从图2中可以看出基于互信息的改进RBF方法的预测结果中依然有误差较大的点产生(相对误差绝对值>20%),这是因为这些点在神经网络训练过程中从未出现过,神经网络的精度很大程度上取决于训练样本的代表性和精确度,所以在实际应用中应尽量使用数据容量较大的样本,以获得更准确的预测结果。

5 结 论

针对改进RBF神经网络算法输入变量未经过筛选的缺点,本文提出了一种基于互信息的改进RBF神经网络预测模型,并将其应用于雅砻江沪宁水文站日径流预测中,并与原预测模型进行对比,通过沪宁站2011年汛期日径流预测结果可以发现:

(1)基于互信息的改进RBF神经网络预测模型能有效地选择影响输出变量的影响因子,去除冗余输入变量,对于简化神经网络结构,提高预测效果都有很好的效果。该模型应用于日径流预测,能够有效地改善改进的RBF神经网络预测模型的缺陷,模型学习速度较快,预测精度较高,预测结果精度和合格率皆优于原预测模型。

(2)基于互信息的改进RBF神经网络具有较强的逼近非线性函数的特性,可以对任意非线性函数进行任意精度的逼近。能够很好的拟合水文系统中径流这种复杂的非线性输入、输出间的映射关系。但在训练过程中为防止过拟合现象而导致预测精度降低现象的产生,应合理选择训练拟合误差目标。

基于互信息的改进RBF神经网络预测模型的预测误差随机性较强,若加强对预报误差的研究,挖掘预报误差的潜在规律,进行预报误差实时校正,有进一步提高预报精度的可能性,也是作者今后的研究方向。

[1] 周 娅,郭 萍,古今今.基于 BP 神经网络的概率径流预测模型[J].水力发电学报,2014,33(2):45-49.

[2] 白继中,师 彪,冯民权,等.自我调节蚁群——RBF 神经网络模型在短期径流预测中的应用[J].水力发电学报,2011,30(3):50-56.

[3] 张晓伟,沈 冰,黄领梅.基于BP 神经网络的灰色自记忆径流预测模型[J].水力发电学报,2009,28(1):68-71.

[4] 庞 琼,陈 鸣,王士军,等.基于回归分析的龙门滩水库设计洪水计算[J].人民黄河,2013,35(12):37-40.

[5] 陈守煜.模糊水文学与水资源系统模糊优化原理[M].大连:大连理工大学出版社,1990.

[6] 刘 佳,鲁 帆,蒋云钟,等.RBF神经网络在径流时间序列预测中的应用[J].人民黄河,2011,33(8):52-54.

[7] 刘金琨.RBF神经网络自适应控制MATLAB仿真[M].北京:清华大学出版社,2014:2-3.

[8] Hartman E J,Keeler J D,Kowalski J M. Layered neural networks with Gaussian hidden units as universal approximations [J]. Neural Computation, 1990,2(2):210-215.

[9] 张 毅,姜思博,李 铮.改进的遗传灰色RBF模型的短期电力负荷预测[J].电测与仪表,2014,51(5):1-4.

[10] 孙雯雯.基于DRKM-RBF神经网络预测算法模型[D].吉林:吉林大学,2011:20-23.

[11] 祝 煜,梁雪春,肖 迪.基于动态聚类RBF 网络的小企业信贷预测研究[J].计算机应用与软件,2010,27(4):102-105.

[12] 伍长荣.基于RBF神经网络的多因素时间序列预测模型研究[D].合肥:合肥工业大学,2004:16-20.

[13] 马鹏飞.基于最邻近聚类法的RBF神经网络的商业银行分支机构绩效评价研究[D].重庆:重庆工商大学,2010:33-34.

[14] 李治友,陈 才,曹长修.一种基于改进的RBF 神经网络的铁水脱硫预报模型[J].重庆大学学报,2003,26(9):119-121.

[15] 赵铜铁钢,杨大文.神经网络径流预报模型中基于互信息的预报因子选择方法[J].水力发电学报,2011,30(1):25-30.

[16] 马国建.混沌优化神经网络在渤海湾富营养化模型中的应用研究[D].天津:天津大学,2009:47-50.

[17] Barrett A B, Barnett L, Seth A K. Multivariate granger causality and generalized variance [J]. Physical Review, 2010,81(4): 384-395.

[18] 高 山,单渊达.神经网络短期负荷预测输入变量选择新方法[J].电力系统自动化,2001,(11):41-44.

[19] 唐勇波,桂卫华,彭 涛,等.基于互信息变量选择的变压器油中溶解气体浓度预测[J].仪器仪表学报,2013,3(47):1 492-1 497.

[20] 郭 伟.基于互信息的RBF神经网络结构优化设计[J].计算机科学,2013,40(6):252-255.

[21] 韩 敏,刘晓欣.基于互信息的分步式输入变量选择多元序列预测研究[J].自动化学报,2012,38(6):999-1 005.

[22] 朱明星,张德龙.RBF网络基函数中心选取算法的研究[J].安徽大学学报(自然科学版),2000,24(1):72-78.

[23] 张玉敏.基于不同核函数的概率密度函数估计比较研究[D].河北:河北大学,2010:7-9.

猜你喜欢

互信息径流聚类
格陵兰岛积雪区地表径流增加研究
基于SWAT模型的布尔哈通河流域径流模拟研究
雅鲁藏布江河川径流变化的季节性规律探索
基于K-means聚类的车-地无线通信场强研究
变化环境下岩溶区流域径流变化特征研究
基于高斯混合聚类的阵列干涉SAR三维成像
基于Spark平台的K-means聚类算法改进及并行化实现
基于互信息的贝叶斯网络结构学习
联合互信息水下目标特征选择算法
改进的互信息最小化非线性盲源分离算法