张晶晶 黄浩 胡英 吾守尔·斯拉木

摘 要： 口语理解（SLU）性能的好坏对口语对话系统有着至关重要的作用。在对基本循环神经网络及其变体长短时记忆（LSTM）网络和门限循环单元（GRU）网络结构分析的基础上，提出一种特征融合的循环神经网络结构。该结构首先把输入送到隐含层训练得到特征表示；然后该特征信息与源输入及历史输出信息一起送入另一隐含层训练；最后送进输出层得出结果。对上述不同的循环神经网络的结构及提出的模型在ATIS数据库上进行口语理解实验。结果表明，提出的特征融合的循环神经网络结构的性能要优于传统循环神经网络及其变体结构。

关键词： 口语理解； 循环神经网络； 长短时记忆； 门限循环单元； 特征融合； 自然语言

中图分类号： TN711?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）20?0157?04

Abstract： The performance of spoken language understanding （SLU） is of fundamental importance to a spoken language dialogue system. A feature fusion based recurrent neural network structure is proposed on the basis of analyzing the structures of basic recurrent neural network （RNN） and its variants of long short?term memory （LSTM） network and gated recurrent unit （GRU） network. In the structure， the input is sent to the hidden layer and trained to obtain feature representation. The feature information， together with the source input and historical output information， is sent to another hidden layer for training， and then sent to the output layer to obtain results. An SLU experiment was carried out on the ATIS database using the above different recurrent neural network structures and proposed models. The results show that the performance of the feature fusion based recurrent neural network structure is better than that of the conventional recurrent neural network and its variants.

Keywords： SLU； RNN； LSTM； GRU； features fusion； natural language

0 引 言

口语对话系统是由自动语音识别、口语理解（Spoken Language Understanding，SLU）、对话管理和语言生成、语音合成等部分组成[1]。口语理解性能对于口语对话系统作用十分重要。口语理解的研究出现于20世纪70年代初，经过几十年的发展，大致可以分为基于知识的方法、数据驱动的方法以及两者结合的方法。

随着神经网络在自然语言处理领域的成功应用，人们开始探索不同的神经网络的功能。RNN被验证了在解决序列化问题上有着显著的效果。RNN能够利用上下文信息，但是，RNN在计算时会出现梯度弥散问题，且对长文本处理效果不佳。针对该问题，Hochreiter 和 Schmidhuber在1997年提出长短时记忆网络（Long Short?Term Memory，LSTM）[2]，克服了传统RNN梯度消失和梯度爆炸的问题。……