王怡鸥， 丁刚毅， 刘天元， 刘来旸， 蒙军， 侯安琨

(北京理工大学 软件学院, 数字表演与仿真技术实验室， 北京 100081)



基于小世界无标度特征的回声状态小波网络

王怡鸥， 丁刚毅， 刘天元， 刘来旸， 蒙军， 侯安琨

(北京理工大学 软件学院, 数字表演与仿真技术实验室， 北京 100081)

针对储备池的适应性问题，提出了一种复合回声状态网络模型(CESN). CESN依据增量生长准则构建小世界无标度进化状态储备池，解除了储备池谱半径的限制. 同时，CESN将离散小波函数作为神经元的激活函数，用Symlets小波函数替代部分储备池神经元的S型函数，Symlets小波函数的伸缩和平移变换特征丰富了动态储备池的状态空间. 将CESN应用于一些非线性时间序列逼近问题中，即NARMA系统、Henon映射和二氧化碳浓度预测. 实验结果表明，在逼近高度复杂的非线性系统方面，CESN明显优于注入Symlets小波的经典回声状态网络(S-ESN)和具有高聚类系数的无标度回声状态网络(SHESN).

回声状态网络；小世界；无标度；小波函数；时间序列预测

递归神经网络(recurrent neural networks，RNNs)在理论上是一种理想的非线性时间序列预测模型，当满足某些假设条件的前提下，RNN能够以任意的精度逼近任何非线性系统. 然而，RNN算法的训练过程直接优化网络权值，存在收敛速度慢、计算代价大、训练效率低、易陷入局部最优值等缺点，因此无法取得令人满意的结果. 为了解决RNN中存在的这些问题，2001年，德国Bremen大学Jeager教授[1]提出一种新型的递归神经网络—回声状态网络(echo state network，ESN). ESN最具代表性的特征是“动……