胡志强 李文静 乔俊飞

1)(北京工业大学信息学部,北京 100124)

2)(计算智能与智能系统北京市重点实验室,北京 100124)

变频正弦混沌神经网络及其应用∗

胡志强1)2)†李文静1)2)乔俊飞1)2)

1)(北京工业大学信息学部,北京 100124)

2)(计算智能与智能系统北京市重点实验室,北京 100124)

(2017年1月4日收到;2017年2月7日收到修改稿)

针对暂态混沌神经网络全局寻优能力受限的问题,提出了一种基于脑电波生物机制的新型混沌神经网络模型——变频正弦混沌神经网络.该模型将变频正弦函数和Sigmoid函数组合作为非单调激励函数,本文给出了该混沌神经元的倒分岔图及Lyapunov指数的时间演化图,分析了其动力学特性.进一步将该模型应用到非线性函数优化和组合优化问题上,并分析了参数的变化规律.仿真实验证明变频正弦混沌神经网络比暂态混沌神经网络及其他相关模型具有更好的全局寻优能力.

混沌神经网络,脑电图,变频正弦混沌神经网络,组合优化

1 引 言

Hopfield神经网络(Hopfield neural network,HNN)已被证明是解决优化问题的有力工具［1].HNN采用梯度下降法进行寻优,极易陷入局部极小点或出现不可行解［2].Aihara等［3]在HNN结构的基础上引入负的自反馈,使其表现出混沌行为,提出混沌神经网络(chaotic neural network,CNN),利用混沌遍历性、伪随机性的特性实现不重复的全局搜索.但由于网络参数固定,导致网络无法稳定,文献[4]在Aihara等［3]研究的基础上引入混沌模拟退火机制,使网络的混沌行为呈指数衰减形式,最后退化为HNN,提出了暂态混沌神经网络(transiently chaotic neural network,TCNN),既利用了混沌的全局搜索能力,又使网络最终得以稳定.

TCNN采用的激励函数是单调递增的Sigmoid函数,Shuai等［5]指出有效的激励函数可取各种形状,应表现出非单调行为,并提出了奇对称激励函数的模型.Potapov和Ali［6]指出激励函数采用非单调的函数可以使神经元更容易产生混沌动力学特性.基于以上理论,许多学者提出了具有非单调激励函数的CNN.修春波等［7]将Gauss函数与Sigmoid函数加和组成非单调激励函数,提出了GS-CNN模型;徐耀群和孙明［8]将Shannon小波函数与Sigmoid函数加和组成非单调激励函数,提出了SSW-CNN模型;Yi等［9]将正弦函数与Sigmoid函数复合作为非单调激励函数,并加入时变增益,提出了I-TCNN模型;Xu等［10]将逆多二次函数与Sigmoid函数加和组成非单调激励函数,提出了RBF-CNN模型;Zhang和Xu［11]将Morlet或Mexican Hat小波函数代替Sigmoid函数,提出了MWCNN和MHWCNN模型.

以上学者所提出的具有非单调激励函数的混沌神经元模型,虽然都在一定程度上提高了CNN的全局搜索性能,但是大都缺乏一定的生物学机制,无法表征出神经元激励与响应的频幅关系,不能充分体现出复杂多变脑部活动的非线性动力学特征和具有更加丰富的混沌全局搜索性能.因此,本文基于脑电波由不同频率的正弦信号叠加而成的生物机制,采用由变频正弦(frequency conversion sinusoidal,FCS)函数与Sigmoid函数加权和的形式作为混沌神经元的激励函数,提出了一种新的CNN模型——变频正弦混沌神经网络(frequency conversion sinusoidal chaotic neural network,FCSCNN)模型.在对激励函数非单调化的同时,使其作用机制更加符合真实的生物神经元特性.给出了FCS混沌神经元的倒分岔图和最大Lyapunov指数的时间演化图,分析了其动力学特性.将该新型CNN模型应用于非线性函数优化和组合优化问题中进行仿真实验,结果表明该模型具有较强的克服局部极小的能力.

2 FCS混沌神经元模型

本文基于脑电波由不同频率正弦信号叠加而成的生物机制,提出了一种FCS混沌神经元模型.在脑电波中可以观察到有节律和重复的神经振荡［12].研究表明,根据不同脑部活动对应脑电波的质量和强度,可将脑电波分为α,β,δ,γ和θ波,五种不同脑电波的特点见表1［12−14].

表1 五种不同脑电波的特点Table 1.The characteristics of fi ve di ff erent brain waves.

由表1可知,不同脑电波形代表人脑的不同活动状态,并且思维越活跃,脑电波的频率越高,而幅值会越低.Sih和Tang［14]指出反映大脑思维活动的脑电波由不同频率的正弦信号叠加而成,思维所需的信息由神经元产生不同频率和幅值的脑电波来体现.根据以上生物机制,定义FCS函数如下:

其中,u为函数自变量,用于表征脑部活动的强弱;A为正弦函数的幅值,A(0)为幅值初值(0≤A(0)≤1);ε为正弦函数的陡度因子,用于表征正弦函数频率的大小;ε(0)为陡度因子初值(ε(0)＞ 0);a,b均为正值参数.图1为A(0)=0.2,ε(0)=0.08,a=b=1时的FCS函数图像.

图1 FCS函数图像Fig.1.The graph of FCS function.

由图1可知,构造的FCS函数可以表征脑部活跃度与脑电波的频率、幅值分别成正比和反比的关系.TCNN的激励函数为Sigmoid函数,具有普遍的生物学依据,但是并未能体现神经元活跃度的特点.借鉴文献[5—11]的理论基础和激励函数的构造方法,并结合以上生物学机制,将FCS函数与Sigmoid函数加权和作为混沌神经元的激励函数.将激励函数非单调化的同时,使之更加符合真实生物神经元的激活抑制以及脑神经不同活跃状态的特点,提出了一种新的混沌神经元模型——FCS混沌神经元模型,描述如下:

其中,y(t)为神经元内部状态;x(t)为神经元输出;k为神经隔膜的阻尼因子(0≤k≤1);ε1和ε2分别为Sigmoid函数S1和FCS函数S2的陡度参数(ε1,ε2＞ 0);c为FCS函数的比例系数(0≤ c≤ 1,c=0时为TCNN模型);I0为正值参数;z(t)为自反馈连接权重(z(t)＞0);β为z(t)的退火衰减因子(0≤ β ≤1).当ε1=0.08,A(0)=0.8,ε2(0)=0.02,a=6,b=1,c=0.25时,S2(u)与f(u)函数图像如图2所示.

图2 (网刊彩色)Sigmoid和Sigmoid+0.25FCS激励函数曲线对比 (a)FCS函数;(b)Sigmoid+0.25FCS激励函数Fig.2.(color online)The comparison of activation function between Sigmoid and Sigmoid+0.25FCS:(a)FCS function;(b)Sigmoid+0.25FCS activation function.

图3 (网刊彩色)a,b对应于幅值和频率的变化特性 (a)幅值A随a的变化特性;(b)频率1/ε随b的变化特性Fig.3.(color online)The change characteristics of the amplitude and frequency with a,b:(a)The change characteristic of the amplitude A with a;(b)the change characteristic of the frequency 1/ε with b.

由图2可知,加入FCS后的激励函数表现出一定的非单调性,同时保持了Sigmoid函数的生物学特性.通过选取不同的A(0),ε2(0),a,b,c值,可以得到不同特点的非单调激励函数.ε2(0)越小,则正弦函数频率越高;A(0)和c越大,则FCS函数的权重越大,这都将使得激励函数非单调程度越大.固定其他参数不变,幅值A和频率1/ε分别随a,b的变化特性见图3.

由图3可知,a,b分别决定着幅值变化的宽度和频率变化的陡度,a越大,幅值宽度越小,b越大,频率陡度越明显.由(7)式可知,ε2(0),b,u共同决定FCS波函数的频率(f=1/2πε),其中b,ε2(0)分别控制频段上下界值,FCS函数的频段关系见表2.

由表2可知,FCS波频段和范围(0.497—100.311 Hz)与表1所列的脑电波频段和范围(0.5—100 Hz)一致,符合脑电波频率的生物机制,其中0.0044≤ ε2(0)≤ 0.32,0.56≤ b≤ 1.8,|u|≤1.神经元的动力学特性可以根据倒分岔图和最大Lyapunov指数来观察和体现.正的Lyapunov指数表示模型具有混沌行为,Lyapunov指数越大,表示混沌程度越高［7].Lyapunov指数定义如下:

由(8)—(11)式可得FCS混沌神经元模型的Lyapunov指数计算公式.为了分析比较提出的FCS混沌神经元模型的动力学特性,选取适当的参数,神经元将会表现出暂态混沌的特性.选取参数k=1,β =0.005,ε1=0.02,I0=0.65,z(0)=0.8,A(0)=0.8,ε2(0)=0.04,a=b=1,c=0.25时,FCS混沌神经元与标准暂态混沌神经元(c=0)的倒分岔图和Lyapunov指数的时间演化图分别如图4和图5所示.

由图4和图5可知,随着自反馈连接权重z(t)的衰减,网络均经历倒分岔过程,由混沌态逐渐向倍周期态退化直至稳定在周期一点(不动点).同样参数条件下,FCS混沌神经元比暂态混沌神经元表现出更丰富的动力学行为,具有更大更多的正值Lyapunov指数,这些决定了新型混沌神经元模型具备更好的全局寻优能力.

图4 FCS混沌神经元的倒分岔图及Lyapunov指数时间演化图 (a)倒分岔图;(b)Lyapunov指数图Fig.4.The reversed bifurcation and Lyapunov exponents of the FCS chaotic neuron:(a)Reversed bifurcation;(b)Lyapunov exponents.

图5 暂态混沌神经元的倒分岔图及Lyapunov指数时间演化图 (a)倒分岔图;(b)Lyapunov指数图Fig.5.The reversed bifurcation and Lyapunov exponents of the transient chaotic neuron:(a)Reversed bifurcation;(b)Lyapunov exponents.

3 FCSCNN模型

利用上述FCS混沌神经元模型,构建得到如下FCSCNN模型:

其中,α为输入正值比例参数,wij为神经元i和神经元j之间的连接权值(wij=wji,wii=0),Ii是神经元i的输入阈值,其他参数定义同FCS混沌神经元模型.FCSCNN模型结构如图6所示.

图6FCSCNN模型结构图Fig.6.The structure chart of FCSCNN model.

由(12)—(17)式可知,基本网络参数k,α,β,z(0),I0,ε1及FCS函数参数A(0),ε2(0),a,b,c均有取值范围,但比较宽泛.参数的选择对网络的动力学演化过程及寻优性能有很大影响.选择合适的模型参数可使网络处于混沌状态,并表现出全局搜索能力,使网络较快地找到最优解.若选取不当,会使网络无法出现混沌行为,还可能出现不收敛、收敛速度慢、搜索不到最优解、出现不可行解等不良优化效果.实际应用中需要更具体的范围及选择方法.由于优化问题复杂性的差异及模型参数间的相互影响和敏感性,目前对于实际优化问题的模型参数选取通常采用试凑法和经验值.为此,根据现有文献研究,给出了更为具体的参数选择方案.k反映记忆或遗忘内部状态的能力,其值过大会使网络很快结束混沌态,反之会增加迭代次数,通常设置为经验值0.9—1［7−10];α反映能量函数对神经动力的影响,使自反馈(混沌)项和梯度项达到某种平衡,其值过大混沌项作用相对较小,降低全局寻优性能,反之能量函数不能充分影响网络演化,将只在很小范围内搜索,根据实验分析及文献[4,7—11,15—18]仿真实验,其值设置在0.01—0.5具有较好的优化性能;ε1决定Sigmoid函数的陡度,其值过大网络收敛快,但准确度下降,反之混沌全局搜索性能强(过于趋近0时反而无混沌行为),其值多设置0.001—0.1［16];对于I0的选择,目前普遍选择固定值,常用值为0.56或0.65;β,z(0)分别影响网络的初始混沌程度和混沌项衰减速度,共同决定网络的收敛速度,β越大网络收敛快,但会降低寻优的准确率,而z(0)越大初始混沌运动越剧烈,但网络收敛慢,对于复杂的中大规模的优化问题通常需要较小的β和较高的z(0).如何权衡准确率和速度的关系,要根据优化问题的复杂度以及实际工程需要设定,并通过参数的设置和自适应方法来实现,这也是该研究方向需要解决的难点之一.

FCSCNN的优化机制同HNN类似,都是将问题的目标函数映射为网络的能量函数,将网络的动力学演化过程视为目标函数的寻优过程,当网路收敛到稳定点时,对应的神经元输出即为所要求得优化问题的(最优/次优)解.根据HNN优化原理有如下规则:

不同的是FCSCNN能量函数E在(19)式表达上有个附加能量项H,H决定着混沌动力的能量值,代表网络在混沌搜索阶段中混沌动力的大小［19].FCSCNN在初始粗搜索阶段会利用混沌特性在相空间内按照一定分形结构进行不重复的“自抑制”全局搜索,随着z(t)的衰减,混沌动力减弱,网络将经过倒分岔逐步退化到梯度收敛的细搜索阶段［15].

其中,H是附加能量项;i=1,2...,N,N为神经元的个数;wij为神经元i和神经元j之间的连接权值;xi为第i个神经元的输出;Ii是第i个神经元的阈值;τi为第i个神经元的时间常数;f−1(.)为激活函数的反函数.依据(18)式的修改规则可产生多种CNN模型.因此,H的形式决定了HNN能够具有不同特点的混沌动力行为,进而衍生出不同的CNN模型,进而HNN的能量曲面也就具有了暂态混沌的特点,这也就是TCNN全局优化机制的核心所在.

4 FCS模型在优化问题中的应用

4.1模型在函数优化中的应用

选取以下优化函数:

函数f的最小值为0,最小值点为(0.7,0.5);局部极小点为(0.6,0.4),(0.6,0.5)和(0.7,0.4).在FCSCNN模型中,参数选取如下:k=1,α=0.1,β =0.01,ε1=0.05,I0=0.56,z1(0)=z2(0)=0.8,A(0)=0.4,ε2(0)=0.08,a=6,b=1,c=0.25. 随机初始化x1,x2的值,FCSCNN模型优化函数f的能量函数E的时间演化图如图7所示.

图7 FCSCNN优化函数f的能量函数E的时间演化图Fig.7.The time evolution diagram of the energy function E for function optimization by FCSCNN.

当网络迭代800次时优化函数的能量函数值为2.961×10−8,此时,x1=0.69986,x2=0.50006.神经元输出x1,x2的时间演化图如图8所示.

由图7和图8可知:FCS神经元输出值x1,x2(目标解)在前期的寻优方式是具有混沌搜索的遍历性、伪随机性的特点,在300步时已经收敛到最优解附近,这种快速、准确的寻优能力很好地证明了FCSCNN的函数优化能力,最优率为100%.为了更好地验证模型的优化能力,选择如下复杂的组合优化问题进行实验分析.

图8 FCS神经元输出值x1,x2的时间演化图 (a)x1;(b)x2Fig.8.The time evolution diagram of FCS neuron output x1,x2:(a)x1;(b)x2.

4.2模型在组合优化中的应用

旅行商问题(traveling salesman problem,TSP)描述如下:假定有个城市,给出它们的位置和相互距离,要求寻找一条闭合路径,每个城市仅且被访问一次,回到起始城市,要求这条路径的距离最短.

问题对应的目标函数［4]为

则由(18)式得,描述求解TSP的FCS神经元内部状态动力学方程为

其中,xi0=xin,xin+1=xi1,xij为神经元的输出,它表示城市i于第j个被访问;W1和W2分别为与约束和关于路径长度的代价函数对应的耦合系数;dij为城市i和城市j之间的距离.

选取10个城市归一化后的坐标,取值分别为:(0.4000,0.4439);(0.2439,0.1463);(0.1707,0.2293); (0.2293, 0.7160); (0.5171, 0.9414);(0.8732, 0.6536); (0.6878, 0.5219); (0.8488,0.3609);(0.6683,0.2536);(0.6195,0.2634).已知满足条件的最短路径长度为2.6776.在FCSCNN模型中,参数选取如下:k=1,α=0.05,β=0.01,ε1=0.05,I0=0.65,z(0)=0.8,A(0)=0.4,ε2(0)=0.08,a=6,b=1,c=0.25,W1=1,W2=1.随机初始化xij的值,FCSCNN模型求解TSP时能量函数E和FCS单个神经元x1,1输出的时间演化图及最优路径分别如图9—图11所示.

图9 FCSCNN求解10城市TSP能量函数E时间演化图Fig.9.The time evolution diagram of the energy function E for 10-city TSP by FCSCNN.

由图9可知,能量函数的稳定值为1.3388,对应的最短路径为2.6776,网络能够很好地解决TSP.为了更好地分析FCSCNN模型的优化性能,固定参数k=1,α=0.05,β=0.01,ε1=0.05,I0=0.65,z(0)=0.8,W1=1,W2=1,取不同FCS函数参数和模型进行分析试验.随机初始化xij的值,进行2000次独立实验,每次独立实验迭代1000步,结果列于表3和表4.

图10 FCS神经元x1,1输出的时间演化图Fig.10.The time evolution diagram of FCS neuron output x1,1.

图11 10城市TSP归一化坐标的最短路径 (a)初始路径;(b)最优路径Fig.11.The optimal path in normalization of 10-city TSP:(a)Original route;(b)optimal path.

表3 不同参数下FCSCNN求解10城市TSP结果Table 3.The results of the FCSCNN with di ff erent parameters for 10-city TSP.

表4 不同网络模型求解10城市TSP问题结果Table 4.The results of the di ff erent models for 10-city TSP.

由表3可知,a值过大或过小(对应于激励函数的非线性度过小或过大,见图3)都会使得最优比率下降,其值为6时具有最好的优化性能,而b值的变化对FCSCNN优化性能影响并不明显,这是由于a对激励函数的非单调性起到更关键的决定作用.当c.A(0)≤0.2时,FCSCNN模型具有较好的优化性能,当c.A(0)＞0.3时,模型的优化能力变差,其原因激励函数的非线性度过大影响到模型的稳定性,网络无法搜索到最优解.ε2(0)值越小,优化效果越好,且不会对模型的稳定性产生影响.理论上,只要退火参数足够小,最终都能够找到最优解.但是,在相同的演化步数下,对比才能够体现出不同网络的全局搜索能力.

由表4可知,提出的FCSCNN模型比其他几种模型具有更好全局寻优能力.为了进一步检验模型对于中大规模问题的寻优能力,选取30和75个城市TSP.已知满足条件的最短路径长度如图12所示,分别为4.237406和5.434474［17].随机初始化xij的值,选取不同模型进行200次独立实验,结果分别如表5和表6所列.

图12 30和75城市TSP归一化坐标的最短路径 (a)30城市;(b)75城市Fig.12.The optimal path in normalization of 30-city and 75-city TSP:(a)30-city;(b)75-city.

表5 不同网络模型求解30城市TSP结果Table 5.The results of the di ff erent models for 30-city TSP.

表6 不同网络模型求解75城市TSP问题结果Table 6.The results of the di ff erent models for 75-city TSP.

由表4和表5可知,最优解比率与城市数(问题的复杂度)成反比.对于75城市的TSP,大多数算法最优率均较低,甚至无法找到最优解(the best solution,BS).因此,引入(23)式所示的评价指数J［18]评估不同模型的优化性能.

其中,AV S为合法解的均值,GM为全局最优解.J值越低,优化性能越强.

由表4—表6可知,对于不同规模的优化问题,在相同的模型参数条件下,提出的FCSCNN模型比HNN［1],TCNN［4],ITCNN［9]模型具有更高的最优比率和精度,尤其对于能量曲面上具有多个局部极小点的中大规模优化问题,优势更为显著.这是由于FCS函数不但增加了神经元激励函数的非单调程度,并且比传统的正弦函数具有更丰富的变化特点,这些都奠定了FCSCNN模型具有更好全局寻优性能的动力学基础.

5 结 论

本文将FCS函数和Sigmoid函数组合作为非单调激励函数,提出了一种新型CNN模型,即FCSCNN模型,通过绘制该混沌神经元的分岔图及最大Lyapunov指数时间演化图可知该新型混沌神经元模型具有暂态混沌动力学特性,并比原模型混沌特性更为明显,这给混沌搜索提供了更好的全局搜索性能.并且将提出的模型应用到非线性函数优化和组合优化问题上,同时分析了FCS函数参数对模型性能的影响,仿真实验证明了该模型的有效性和可行性.在参数自适应选择上还有待改进,也是下一步需要进行的工作.

[1]Han G,Qiao J F,Han H G,Chai W 2014J.Control Decis.29 2085(in Chinese)[韩广,乔俊飞,韩红桂,柴伟2014控制与决策29 2085]

[2]Yu S J,Huan R S,Zhang J,Feng D 2014Acta Phys.Sin.63 060701(in Chinese)[于舒娟,宦如松,张昀,冯迪2014物理学报63 060701]

[3]Aihara K,Takabe T,Toyoda M 1990Phys.Lett.A144 333

[4]Chen L N,Aihara K 1995Neural Networks8 6

[5]Shuai J W,Chen Z X,Liu R T,Wu B X 1996Phys.Lett.A221 311

[6]Potapov A,Ali M K 2000Phys.Lett.A277 310

[7]Xiu C B,Liu X D,Zhang Y H,Tang Y Y 2005Acta Electron.Sin.33 868(in Chinese)[修春波,刘向东,张宇河,唐运虞2005电子学报33 868]

[8]Xu Y Q,Sun M 2008Control Theory A25 574(in Chinese)[徐耀群,孙明2008控制理论与应用25 574]

[9]Yi Z,Xu G J,Qin X Z,Jia Z H 2011Proc.Eng.24 479

[10]Xu Y Q,Xu N,Liu L J 2012Appl.Mech.Mater.151 532

从供应来看，原材料价格持续高位，磷矿石供应偏紧，磷酸二铵现货供应持续紧张。从需求来看，东北、西北地区冬储刚需较旺，同时出口询单积极性仍较高。在原料和市场需求支撑下，预计短期内二铵价格高位维稳，后期仍存小幅上涨，重点关注原料价格和冬储进展情况。

[11]Zhang J H,Xu Y Q 2009Nat.Sci.1 204

[12]Zhang Q H Y,Xie X P,Zhu P,Chen H P,He G G 2014Commun.Nonlinear Sci.19 2793

[13]Zhang X D,Zhu P,Xie X P 2013Acta Phys.Sin.62 210506(in Chinese)[张旭东,朱萍,谢小平,何国光 2013物理学报62 210506]

[14]Sih G C,Tang K K 2012Theor.Appl.Fract.Mec.61 21

[16]Qin K 2010Ph.D.Dissertation(Chengdu:University of Electronic Science and Technology of China)(in Chinese)[秦科2010博士学位论文(成都:电子科技大学)]

[17]Zhao L,Sun M,Cheng J H,Xu Y Q 2009IEEE Trans.Neural Networks20 735

[18]Liu X D,Xiu C B 2007Neurocomputing70 2561

[19]Kwok T,Smith K A 1999IEEE Trans.Neural Networks10 978

PACS:05.45.Gg,07.05.Mh,87.55.deDOI:10.7498/aps.66.090502

Frequency conversion sinusoidal chaotic neural network and its application∗

Hu Zhi-Qiang1)2)†Li Wen-Jing1)2)Qiao Jun-Fei1)2)

1)(Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China)
2)(Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing 100124,China)

4 January 2017;revised manuscript

7 February 2017)

The optimization performance of transiently chaotic neural network(TCNN)is a ff ected by various factors such as chaotic characteristic,model parameters,and annealing function,and its capacity of global optimization is limited.It is demonstrated that the non-monotonic activation function can generate richer chaotic characteristic than the monotonic activation function in the TCNN model.Besides,the activation function involving neurobiological mechanism can not only re fl ect the rich brain activity in brain waves,but also enhance the non-linear dynamic characteristic,which may further improve the global optimization ability.Hence,a novel chaotic neuron model is proposed with the non-monotonic activation function based on the neurobiological mechanisms from the electroencephalogram.

The electroencephalogram consists of fi ve brain waves(i.e.,α,β,δ,γ,and θ waves)which are de fi ned by the quality and intensity of brain waves with di ff erent frequency bands ranging from 0.5 Hz to 100 Hz.The brain wave with a higher frequency and a lower amplitude represents a more active brain.Researches demonstrate that the fi ve brain waves can be simpli fi ed into sinusoidal waves with di ff erent frequencies.Hence,a frequency conversion sinusoidal(FCS)function which has the consistent frequency range and features with brain waves is designed based on the above neurobiological mechanisms.Then a novel chaotic neuron model with non-monotonic activation function which is composed of the FCS function and sigmoid function,is proposed for richer chaotic dynamic characteristic.The reversed bifurcation and the Lyapunov exponent of the chaotic neuron are given and the dynamic system is analyzed,indicating that the proposed FCS neuron model owns richer chaotic dynamic characteristic than transiently chaotic neuron model due to its special non-monotonic activation function.

Based on the neuron model,a novel transiently-chaotic neural network—frequency conversion sinusoidal chaotic neural network(FCSCNN)is constructed and the basis of model parameter selection is provided as well.To validate the e ff ectiveness of the proposed model,the FCSCNN is applied to nonlinear function optimization and 10-city,30-city,75-city traveling salesman problem.The experimental results show that 1)the FCSCNN has a good performance under the condition of moderate a,smaller c.A(0)and ε2(0);2)on the basis of the appropriate model parameters,the FCSCNN has better global optimization ability and optimization accuracy than Hopfield neural network,TCNN,improved-TCNN due to its richer chaotic characteristic in complicated combinational optimization problem,especially in middle and large scale problem.

chaotic neural network,electroencephalogram,frequency conversion sinusoidal chaotic neural network,combination optimization

10.7498/aps.66.090502

∗国家自然科学基金重点项目(批准号:61533002)、国家杰出青年科学基金(批准号:61225016)、国家自然科学基金青年科学基金(批准号:61603009)、中国博士后科学基金(批准号:2015M570910)、朝阳区博士后研究基金(批准号:2015ZZ-6)和北京工业大学基础研究基金(批准号:002000514315501)资助的课题.

†通信作者.E-mail:zacharyhu33@163.com

*Project supported by the Key Program of the National Natural Science Foundation of China(Grant No.61533002),the National Science Fund for Distinguished Young Scholars of China(Grant No.61225016),the Young Scientists Fund of the National Natural Science Foundation of China(Grant No.61603009),the China Postdoctoral Science Foundation(Grant No.2015M570910),the ChaoYang District Postdoctoral Research Foundation,China(Grant No.2015ZZ-6),and the Basic Research Foundation Project of Beijing University of Technology,China(Grant No.002000514315501).

†Corresponding author.E-mail:zacharyhu33@163.com