张冬梅　李金平　李江　余想　宋凯旋

摘   要：多变量时间序列各变量间依赖性较强，数据变化趋势不明显，预测难度高. 传统研究采用带门控机制的循环神经网络及变体进行预测，但序列间存在相互依赖关系，突变数据段建模预测不精确. 基于信息熵，本文提出一种新的改进门控权重单元，利用信息熵技术量化数据序列的变化程度，动态调整权重矩阵刻画数据的变化趋势. 基于4个公开数据集分别进行实验，实验结果表明新模型比传统循环神经网络模型具有更好的预测性能.

关键词：多变量时间序列;门控机制;循环神经网络;门控权重单元;信息熵

中图分类号：TP391               文献标志码：A

Multivariate Time Series Prediction Based on Gating Weight Unit

ZHANG Dongmei LI Jinping LI Jiang YU Xiang SONG Kaixuan

（1. School of Computer Science，China University of Geosciences，Wuhan 430074，China）

2. Information Center，Department of Natural Resources of Hubei Province，Wuhan 430071，China）

Abtract：There is strong dependence among the variables of multivariate time series，which makes the data trend unobvious and the prediction difficult. Traditionally，recurrent neural network with gating mechanisms and its variants are used for prediction. But the interdependence between sequences makes the prediction result of mutation data not accurate. Based on information entropy，a new modified gating weight unit is presented. The change degree of data is quantified by using information entropy to dynamically adjust the weight matrix and describe the trend of data. The experiment is conducted with four public data sets. The experimental results show that the proposed model has better prediction performance than the traditional recurrent neural network.

Key word：multivariate time series;gated mechanism;recurrent neural network;gating weight unit;information entropy

多變量时间序列预测根据历史数据对未来进行预测，是近年来研究的热点问题. 多变量序列间存在的相互依赖关系难以学习、特别是突变数据的变化趋势挖掘困难，导致该类问题的预测精度不高[1]. 早期研究主要是通过建立加权滑动平均模型、差分整合移动平均自回归模型等模型进行预测，简单直观，但极易损失变量间的动态依赖信息. 近年基于浅层机器学习的非参数模型是多变量时间序列预测问题的主流方法，可有效克服序列非线性和变量依赖性强等问题，如支持向量回归（Support Vector Regression，SVR）、高斯过程回归（Gaussian Process Regression，GPR）等具有更好的性能，但浅层机器学习方法易过拟合，影响预测精度[2].

早期网络模型不能解决长期依赖问题，存在梯度消失和梯度爆炸现象[3-4].  目前多利用深度……