余昉恒， 沈海斌

(浙江大学 超大规模集成电路设计研究所，浙江 杭州 310027)

0 引 言

长短期记忆(long short-term memory，LSTM)为基础的门结构循环神经网络(recurrent neural network,RNN)能够解决传统RNN所不能解决的长时记忆问题[1～4]。门结构在RNN中的应用启发了深度神经网络(deep neural network, DNN)[5]如何处理一些深度学习在空间展开上遇到的问题，如过拟合和运算消耗过大等。Highway网络[6]结构就是受到RNN中的门结构特点的启发而提出的。如今许多改进的门结构RNN都是基于网络中的函数参数[7]等方法来提高学习效果，缺少能够提高训练深度以处理深层数据特征的能力。

针对上述问题，本文提出一种基于信息跨层连接的门结构(cross-layer integration gated unit，CIGU)，利用门结构能够解决时间展开的长时依赖问题的特点，参考了Highway网络的门结构特点，实现了RNN门结构在深层网络中的空间展开。

1 神经网络门结构

1.1 LSTM门结构

LSTM结构在本质上是使用门结构来实现RNN对长短期信息的记忆功能，解决了传统RNN所无法处理的随着时间递归的加深，梯度消失的问题。如图1所示。图中虚线框内结构即为典型的门结构表示，其中g,i,f,o分别为选择门、输入门、遗忘门和输出门，通过非线性激活函数分别对流入的信息进行选择性通过。C为LSTM内部的隐含状态信息，会随着时间传递给下个状态。门结构通过σ函数(Sigmoid)对输入信息进行限制，通过遗忘过去信息和使当前输入选择性通过来确保有效信息的传递。其中输入门i和输出门o分别可以对当前时刻t输入数据xt和输出状态ht进行选择性通过，遗忘门f可以选择性忘记状态C中存在的信息，而选择门g则如传统RNN的非线性神经元。……