张 舸 张鹏远 潘接林 颜永红



基于递归神经网络的语音识别快速解码算法

张 舸①②张鹏远*①②潘接林①颜永红①②③

①(中国科学院声学研究所语言声学与内容理解重点实验室 北京 100190)②(中国科学院大学 北京 100190)③(中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室 乌鲁木齐 830011)

递归神经网络(Recurrent Neural Network, RNN)如今已经广泛用于自动语音识别(Automatic Speech Recognition, ASR)的声学建模。虽然其较传统的声学建模方法有很大优势，但相对较高的计算复杂度限制了这种神经网络的应用，特别是在实时应用场景中。由于递归神经网络采用的输入特征通常有较长的上下文，因此利用重叠信息来同时降低声学后验和令牌传递的时间复杂度成为可能。该文介绍了一种新的解码器结构，通过有规律抛弃存在重叠的帧来获得解码过程中的计算开销降低。特别地，这种方法可以直接用于原始的递归神经网络模型，只需对隐马尔可夫模型(Hidden Markov Model, HMM)结构做小的变动，这使得这种方法具有很高的灵活性。该文以时延神经网络为例验证了所提出的方法，证明该方法能够在精度损失相对较小的情况下取得2~4倍的加速比。

语音识别；递归神经网络；解码器；跳帧计算

1 引言

近年来，不同种类的递归神经网络(Recurrent Neural Network, RNN)，例如长短时记忆神经网络(Long Short Term Memory, LSTM)和时延神经网络(Time Delay Neural Network, TDNN)开始被用于自动语音识别的声学模型建模中，并取得了相对前馈神经网络更好的性能。产生这种优势的主要原因是递归神经网络的记忆能力能够涵盖整个语音序列的历史，而前馈神经网络则仅利用一个有限长度的窗内的上下文信息。……