孙由玉 孙宝山 卢阳

摘  要：当前LSTMP是基于LSTM增加了Projection层，并将这个层连接到LSTM的输入，通过循环连接投影层，对高维度的信息進行降维，减小细胞单元的维度，从而减小相关参数矩阵的参数数目。但LSTMP网络结构的缺点在于Projection层的输出需要完成两个功能，既需要充当历史信息，又需要作为下一层的输入。针对以上问题，笔者提出了一种Re-dimension的方法，让网络自己选择一部分参数作为历史信息，并获得了一定程度的提升。采用该方法后，能提高语音识别率相对4-5%左右。

关键词：长短时记忆LSTM;降维;语音识别

Abstract：Currently，LSTMP is based on LSTM，which adds a project layer and connects this layer to the input of LSTM. By circularly connecting the projection layer，it reduces the dimension of high-dimensional information，reduces the dimension of cell units，and thus reduces the number of parameters of the related parameter matrix. However，the disadvantage of LSTMP network structure is that the output of the Projection layer needs to complete two functions，which need to act as both historical information and input of the next layer. In view of the above problems，the author proposes a Re-dimension method，which allows the network to select some parameters as historical information，and has achieved a certain degree of improvement. With this method，the speech recognition rate can be improved by about 4-5%.

Keywords：LSTM for long-term and short-term memory;dimensionality reduction;speech recognition

0  引  言

随着移动互联网的兴起，语音识别技术正在走进人们的生活，这给人们的工作、学习和生活提供了一种快捷识别的方式。近年来，基于深度全连接前馈神经网络的声学模型已被证明是语音识别的成功范例。最近，将循环神经网络作为一种强大的模型进行了探索，循环神经网络在不同的顺序数据建模任务中取得了最先进的性能，例如：手写字符识别，机器翻译以及语音识别[1]。

基于长短期存储器（Long Short-Term Memory，LSTM）的存储器块通过输入门[2]，输出门、遗忘门和存储器单元的集成来运行。通过该LSTM，循环神经网络可以利用自学习机制用于远程时间上下文，这有助于改善语音识别中的噪声鲁棒性[3]，其中较长窗口内的一部分帧被噪声掩蔽。已经实施LSTM网络以在不同的语音识别任务中实现竞争性能，提出了具有各种架构的LSTM网络的一些扩展以改善语音识别性能。LSTM循环投影作为统一框架引入，通过添加基于LSTM单元输出的循环信息的前馈层并进一步将信息投影到输出层。……