宋旭东,梁师齐,王雪梅

(1.大连交通大学 软件学院，辽宁 大连 116028；2.阜新高等专科学校，辽宁 阜新 123000) *

循环神经网络是一种深度学习模型，RNN内部的隐含层神经元节点之间相互连接，使其具有强大的序列建模功能，是一种处理股票价格、机票价格、风电功率等时间序列数据的理想模型，传统RNN存在收敛速度慢、易于陷入局部最优的问题.当前针对RNN的研究主要分为两类：①对RNN网络自身结构的改进增强；②RNN的参数优化.

根据以往的研究，RNN的参数优化研究虽在一定程度上克服了RNN存在的问题，但是由于优化算法自身存在一定缺陷，使得RNN的优化还有很大的进步空间.为此本文在现有研究[1-10]的基础上，提出了一种自适应调整的动态粒子群优化算法(ADPSO)，然后构建基于ADPSO优化的RNN模型.

1 相关方法介绍

1.1 粒子群算法

1995年，Eberhart和Kennedy提出了粒子群优化算法(PSO).对于种群粒子，主要根据式(1)、(2)对自身位置、速度进行实时调整，一直到符合收敛终止条件为止.

(1)

(2)

1.2 循环神经网络RNN

在常规RNN中将一个输入层序列、隐含层的矢量序列和输出层矢量序列分别用X、H和Y表示，输入层序列X=(x1，x2,…,xT)，隐含层序列H=(h1，h2,…,hT),输出层序列Y=(y1，y2,…,yT).RNN的训练公式如下：

ht=σsig(Wxhxt+Whhht-1+bh)

(3)

yt=Whyht+by

(4)

其中，Wxh、Whh、Why分别为输入层节点与隐含层节点、隐含层节点与隐含层节点、隐含层节点与输出层节点之间的权重矩阵；xt为t时刻的输入数据；ht是t时刻的隐含层节点状态；bh、by是常数.σsig是sigmoid，激活函数，用来激活控制门.sigmoid函数的表达式为：

(5)

2 自适应调整的动态粒子群算法

粒子群算法在具体应用过程中，存在着收……