APP下载

一种径向基混沌神经网络的分段退火策略

2012-03-13许楠刘英楠汪秀会

黑龙江八一农垦大学学报 2012年4期
关键词:模拟退火分段径向

许楠,刘英楠,汪秀会

(1.黑龙江八一农垦大学信息技术学院,大庆163319;2.沈阳市辽中县会计核算中心)

1 带有径向基函数的暂态混沌神经元模型

以Chen’s混沌神经元为基础模型,将其单调递增的激励函数改为由Sigmoid函数与逆多二次函数加和形式,体现出非单调性以及较好的函数逼近能力,带有径向基函数的暂态混沌单神经元模型表示如下:

其中x(t)为神经元在时刻t的输出,该激励函数由S1(u)和S2(u)两部分加和构成;y(t)为神经元在时刻t的内部状态;k为神经隔膜的阻尼因子,0≤k≤1,表示记忆或遗忘内部状态的能力;ε0是Sigmoid函数的陡度参数;z(t)是自反馈连接项;β是模拟退火参数,其值直接影响退火速度;I0为一正参数;δ是径向基函数的扩展常数或称宽度;α为逆多二次函数的参数。

神经元的倒分叉图可以直观表明混沌现象的搜索过程以及收敛时间等情况,而Lyapunov指数作为沿轨道长期平均的结果,是一种整体特征,其值是否大于零可以判断该时间序列是否为混沌状态。下面通过这两方面来考查该神经元的混沌动力学行为特性。

当参数选取ε0=0.02,y(1)=0.2,z(1)=0.5,k=0.95,I0=0.9,δ=0.9,α=10固定不变,当分别选取β=0.000 2与β=0.000 3时神经元的倒分叉图和最大Lyapunov指数时间演化图如图1至图4所示。

图1 β=0.000 2时神经元倒分叉图Fig.1 State bifurcation figure of the neuron whenβ=0.000 2

图2 β=0.000 2时最大Lyapunov指数时间演化图Fig.2 Time evolution figure of themaximal Lyapunovexponentof the neuron whenβ=0.000 2

图3 β=0.000 3时神经元倒分叉图Fig.3 State bifurcation figure of the neuron whenβ=0.000 3

图4 β=0.000 3时最大Lyapunov指数时间演化图Fig.4 Time evolution figure of themaximal Lyapunovexponentof the neuron whenβ=0.000 3

由上面4图可知:神经元的倒分叉明显依赖于模拟退火参数β的取值,两次倒分叉过程β值仅仅相差0.000 1,而收敛时间却相差甚远,β=0.000 2时神经元混沌搜索在时间为4 100左右达到平衡,β=0.000 3时神经元混沌搜索在时间为2 750左右达到平衡,这也说明了混沌对初值的极度敏感性。由式(3)不难分析出模拟退火参数β对自反馈连接项z(t)的影响:β为正值,因此z(t)在全过程中是不断衰减的,而下降速度由β控制,β越大衰减越快,β越小衰减越慢,当z(t)最终趋近于0值时,结束混沌搜索,网络逐渐达到稳定的平衡点,在倒分叉图中显示为收敛点,在Lyapunov指数时间演化图中显示为指数值在0值附近。

若想充分利用混沌的全局搜索特性,则β取值不能过大,那样会导致z(t)对网络影响太弱,收敛速度过快,容易陷入局部极小点;但β取值也不能过小,那样收敛速度太慢,影响求解效率,该问题在下面的讨论中被称为“模拟退火参数过大或过小问题”。

2 分段线性模拟退火策略

分段线性模拟退火策略可以用来解决“模拟退火参数过大或过小问题”,该思想的关键在于分段退火的分段点,该点应处于结束混沌搜索并开始进入收敛过程前,且应保证状态稳定,通常此分段点位于zi(1)/2附近[2],分段线性模拟退火策略描述如公式(7):

其中:β1,β2为常数,0<β1<β2<1,称η为模拟退火的分段点。

现将分段线性模拟退火策略应用于上述神经元模型,需用如下所示的公式(8)代替公式(3):

当参数选取ε0=0.02,y(1)=0.2,z(1)=0.5,k=0.95,I0=0.9,δ=0.9,α=10,β1=0.000 2,β2=0.000 3,η=0.6该初始条件下神经元的倒分岔图和最大Lyapunov指数时间演化图如图5、图6所示。

图5 β1=0.000 2,β2=0.000 3时神经元倒分叉图Fig.5 State bifurcation figure of the neuron whenβ1=0.000 2 andβ2=0.000 3

图6 β1=0.000 2,β2=0.000 3时最大Lyapunov指数时间演化图Fig.6 Time evolution figure of themaximal Lyapunov exponent of the neuron whenβ1=0.000 2 andβ2=0.000 3

由以上两图可知:将模拟退火过程分为两部分,分段点选取η=0.6,即当zi(t)>0.3时采用β1=0.000 2,此时模拟退火参数较小但网络具有较高的退火温度,能够获得丰富的混沌动力学行为;当zi(t)<0.3时选取β2=0.000 3,此时模拟退火参数较大但网络的退火温度较低,混沌行为渐趋稳定,能够快速收敛到平衡点。

从图形整体来看,未采用分段退火策略时,β=0.000 2情况下的收敛点在4 100左右,β=0.000 3情况下收敛点在2 750左右,采用分段退火策略后收敛点在3 600左右,介于前两者之间,说明该方案既能够充分利用混沌的全局搜索特性,从而跳出局部极小点限制找到全局最优解,又能够以较快的速度收敛,有效解决了模拟退火参数取值不宜过大或过小的局限,从而验证了该策略的可行性及有效性。

3 带有分段退火策略的径向基混沌神经网络在TSP中的应用

3.1 带有分段退火策略的径向基混沌神经网络模型

将分段线性模拟退火策略引入一种径向基混沌神经网络,在上述改进后的径向基混沌神经元模型基础上建立一种新的网络模型,将其描述如下:

网络模型中i=1,2,3,∧,n;yi(t),zi(t)分别为内部状态和自反馈连接项;xi(t)为网络的输出即激励函数,在此采用如公式(4)~(6)所示的两函数加和形式;β1是第一模拟退火参数,β2是第二模拟退火参数,二者一同控制退火温度;wij为从神经元j到神经元i的连接权值,且wij=wji,wii=0;k为神经隔膜的阻尼因子,0≤k≤1;Ii为神经元i的输入偏差;ε0是激励函数的陡度参数;I0为一正参数;γ为输入的正的尺度参数,控制能量函数对网络的影响程度,过大表示能量函数影响太强,网络不易收敛,过小表示能量函数影响太弱,网络易陷入局部极小点,因此其值应选取适当。

3.2 解决TSP问题

旅行商最短路径问题(TSP)可以描述为:给定n个城市和每两城市之间的距离,求一条最短路径,该路径经过每个城市当且仅当一次。所求最短路径并满足TSP问题约束条件的一个能量函数可以有如下公式描述[3],其中,Vxi为神经元输出,代表第x个城市在第i次序上被访问,dxy为城市x、y之间的距离。由于行列式的对称性,系数A=B,一个全局最小的能量函数值代表一条最短的有效路径。

10城市坐标归一化为:(0.4,0.443 9);(0.243 9,0.146 3);(0.170 7,0.229 3);(0.229 3,0.716);(0.517 1,0.941 4);(0.873 2,0.653 6);(0.687 8,0.521 9);(0.848 8,0.360 9);(0.668 3,0.253 6);(0.619 5,0.263 4),该10城市最短路径值为2.677 6,最短路径如图7所示。

图7 10城市TSP问题的最短路径Fig.7 The optimal distance of 10-city TSP

将带有分段线性模拟退火策略的径向基混沌神经网络应用于TSP问题的求解,现从分段点以及分段模拟退火参数两个方面对其进行考查,并分析其可行性及各参数的作用。

首先研究分段点η对该方案对求解10城市TSP的影响。参数选取A=1.5,D=0.5,ε0=0.02,z(1)=0.5, k=1,I0=0.9,δ=0.9,α=10,β1=0.002,β2=0.003固定不变,不同分段点η时,200次随机分配初始值的仿真结果如表1所示。

表1 在不同分段点η下200次随机分配初始值的仿真试验数据Table 1 The results of 200 different internal conditions for eachη

由表1可知,无论分段点选取在什么位置,合法路径比例均可保证100%,但寻优能力则随着分段点的选取有所不同,η=0.1时,即当zi(t)>0.05时使用β1=0.002,只有当zi(t)≤0.05时使用β2=0.003,网络过度倾向于全局搜索,虽然最优解的比例达到95%以上,但收敛速度过慢,导致解决TSP过程耗时太长;当η在区间[0.2,0.4]时,最优路径比例可以达到90%以上,却小于η=0.5时的最优路径比例,说明此时分段点的选取不是最佳状态,且时间开销过大,所以此区间的分段点不可取;当η=0.5时,zi(t)>0.25时使用β1=0.002,zi(t)≤0.25时使用β2=0.003,分段点位置与网络趋近平衡的临界状态位置接近,因此,最优比可以达到97%的同时,耗时40.3 s比η=0.1时效率高;当η在区间[0.6,0.9]时,此时网络倾向于过度收敛,使得网络不能充分利用混沌的全局搜索特性,耗时虽然比η=0.5时要短,但最优路径比例没有η=0.5时高。

经上述分析,在其他参数初始值不变的前提下,带有分段线性模拟退火策略的径向基混沌神经网络在解决TSP问题时选取η=0.5作为分段点比较恰当,但需说明一点,分段点的选择与第一模拟退火参数β1和第二模拟退火参数β2联系紧密,当β1与β2初始值改变时,分段点会随之变化。

下面研究当分段点一定情况下,第二模拟退火参数β2对网络求解10城市TSP的影响。参数选取A=1.5,D=0.5,ε0=0.02,z(1)=0.5,k=1,I0=0.9,δ=0.9,α=10,η=0.5,β1=0.002固定不变,不同第二模拟退火参数β2(β2>β1)时,200次随机分配初始值的仿真结果如表2所示。

表2 在不同参数β2时200次随机分配初始值的仿真试验数据Table 2 The results of 200 different internal conditions for eachβ2

由表2可知,在分段模拟退火策略的思想中,β2主要用于控制网络的收敛速度,β2的不断增大,使得收敛速度逐渐加快,耗时也就随之减小;当网络达到稳定状态前,即从分段点到网络真正达到稳定状态的一段时间,此时由β2控制网络的模拟退火温度,比β1的退火速度快,致使网络的混沌搜索不充分,最优解的获得要低于β1控制时的数量,且β2越大,混沌的全局搜索特性越不能得以充分发挥,因此表2中可以看到随着β2的增大,最优路径比例不断下降。

4 结论

将分段线性模拟退火策略引入到一种径向基混沌神经网络中,分析了其混沌神经元的动力学特性,验证了该模型在解决“模拟退火参数过大或过小问题”的有效性,将该网络应用于10城市旅行商最短路径问题,仿真实验结果表明,如果分段点的选取恰当,那么网络解决该问题可以充分利用混沌的全局搜索特性,并且能以较快速度收敛,既保证获得最优解的数量又可以保证求解效率。

[1]CHEN L,AIHARA K.Chaotic simulated annealing by a neural network model with transient chaos[J].Neural networks,1995,8(6):915-930.

[2]谢传泉,何晨.混沌神经网络模型中的模拟退火策略[J].上海交通大学学报,2003,37(3):323-326.

[3]Hopfield J.Neural networks and physical systems with emergent collective computational abilities[J].Proceedings of the National Academy of Sciences,1982,79:2554-2558.

[4]孙永厚,袁泉,王智敏.神经网络与专家系统的结合及其应用研究[J].黑龙江八一农垦大学学报,1998(2):49-52.

[5]岳海燕.小波混沌神经网络模拟退火参数研究[D].哈尔滨:哈尔滨工程大学,2007.

[6]徐耀群,秦峰,辛海涛.傅里叶混沌神经网络模型中的模拟退火策略[J].哈尔滨商业大学学报:自然科学版,2009,25(3):303-308.

[7]孙明,赵琳,徐耀群,等.一种求解优化问题的新型小波混沌神经网络[J].计算机工程与应用,2010,4(11):46-49.

[8]李薪宇,吕炳朝.暂态混沌神经网络中的模拟退火策略优化[J].计算机应用,2005,10(10):198-200.

[9]徐耀群,李玉垒,秦相林.白噪声混沌神经网络的模拟退火策略[J].哈尔滨商业大学学报:自然科学版,2010,12(15):56-59.

[10]许楠,徐耀群.反三角函数混沌神经网络的模拟退火策略[J].哈尔滨商业大学学报:自然科学版,2011,27(6):814-818.

猜你喜欢

模拟退火分段径向
一类连续和不连续分段线性系统的周期解研究
浅探径向连接体的圆周运动
RN上一类Kirchhoff型方程径向对称正解的存在性
基于PID+前馈的3MN径向锻造机控制系统的研究
一类无穷下级整函数的Julia集的径向分布
分段计算时间
模拟退火遗传算法在机械臂路径规划中的应用
3米2分段大力士“大”在哪儿?
基于模糊自适应模拟退火遗传算法的配电网故障定位
SOA结合模拟退火算法优化电容器配置研究