李文静， 王潇潇

(1.北京工业大学信息学部， 北京 100124； 2.计算智能与智能系统北京市重点实验室， 北京 100124；3.智慧环保北京实验室， 北京 100124； 4.北京人工智能研究院， 北京 100124)

时间序列预测可以判断事物发展趋势，高效的预测模型可为应用决策提供有力依据[1]. 长短期记忆(long short-term memory, LSTM)神经网络对时间序列预测具有显著优势[2-4]，已广泛地应用于金融市场股票预测[5-7]、石油产量预测[8]、短时交通流预测[9]等领域，但标准LSTM神经网络用于时间序列预测具有耗时长、复杂度高等问题[10-11]. 围绕LSTM神经网络结构设计，目前已有大量学者进行了研究.

LSTM神经网络在训练过程中需要更新较多的参数，增加了训练时间[12]，故对其内部结构进行删减尤为重要. 一些研究者通过简化LSTM神经网络结构提出了多种基于标准LSTM神经网络的简化变体[13]，如去除遗忘门[14]、耦合输入门与遗忘门[15]、去除窥视孔连接[16]等. Greff等[13]对多种LSTM神经网络简化变体的效果进行了评价，实验证明耦合输入门与遗忘门、去除窥视孔连接的简化变体可以在不显著降低性能的情况下减少LSTM模型的参数数量和计算成本. Cho等[15]提出一种包括重置门与更新门2个门结构的门控循环单元(gated recurrent unit，GRU)，实验证明GRU可以达到与LSTM模型相当的效果，并且能够很大程度上提高训练效率. Zhou等[17]提出只有一个门结构的最小门控单元(minimal gated unit，MGU)，实验证明MGU具有与GRU相当的精度，但结构更简单，参数更少，训练速度更快. Oliver等[18]通过耦合输入门与遗忘门以简化LSTM模型，使用一个门结构同时控制遗忘和选……