程国建，魏珺洁

(西安石油大学 研究生院，陕西 西安 710065)

递归神经网络(Recurrent Neural Network，RNN)作为一种动态神经网络[1]，因为其训练算法太过复杂、计算量大、训练网络需要大量的时间，所以在实际的应用中仍然存在很多问题[2]。2001年，Jaeger提出了一种新型的递归神经网络[3]——回声状态网络(Echo State Network，ESN)，该网络能够更好的解决时序相关的动态问题。ESN的计算量小，训练简单，使用过程中只需要训练网络的输出权值，而且仅通过线性回归就可以完成训练[4]。现在ESN已经应用在许多方面，例如预测太阳黑子数量的时间序列和城市共享单车数量[5]、变风量空调内模控制[6]、网络流量预测[7]、化工故障检测[8]、非线性卫星信道盲均衡[9]以及电力负荷预测[10-11]等。然而ESN也有不足，即当输入数据用储备池中的回声状态来表示时，由于储备池通常是一个大的随机稀疏连接的递归神经网络，所以可能会存在多余的回声状态。这就是ESN的共线性问题。

有许多研究人员尝试对ESN进行优化及改进[12-15]，黄文华在其研究中将改进的ESN作为热点话题预测模型[16]，张宁致等人将改进的ESN应用在股价预测等实际问题中[17-18]。深度回声状态网络(Deep-Echo State Network，Deep-ESN)也是一种改进的ESN，论文所介绍的Deep-ESN模型是Qianli Ma、Lifeng Shen等人在2017年提出的一种分层储备池计算框架[19]，为了融合每个储备池获得的多尺度表示，该网络添加了从每个编码器到最后一个输出层的连接。一些时间序列的实验结果表明，Deep-ESN可以捕获多尺度动力学，并且优于标准的浅层ESN。

1 回声状态网络

1.1 网络模型

ESN是一种结构简单的新型RNN，它仅由输入层、储备池和输出层组成[20]，如图1。……