左玲云，张晴晴，黎　塔，梁　宏，颜永红

(中国科学院 声学研究所 语言声学与内容理解重点实验室，北京 100190)



电话交谈语音识别中基于LSTM-DNN语言模型的重评估方法研究

左玲云，张晴晴，黎塔，梁宏，颜永红

(中国科学院 声学研究所 语言声学与内容理解重点实验室，北京 100190)

摘要：近年来，神经网络语言模型的研究越来越受到学术界的广泛关注。基于长短期记忆(long short-term memory，LSTM)结构的深度神经网络(LSTM-deep neural network，LSTM-DNN) 语言模型成为当前的研究热点。在电话交谈语音识别系统中，语料本身具有一定的上下文相关性，而传统的语言模型对历史信息记忆能力有限，无法充分学习语料的相关性。针对这一问题，基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上，将其应用于语音识别系统的重评估过程，并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network，FFNN)以及递归神经网络(recurrent neural network，RNN)语言模型的重评估方法进行对比。实验结果表明，LSTM-DNN语言模型在重评估方法中具有最优性能，与一遍解码结果相比，在中文测试集上字错误率平均下降4.1%。

关键词：长短期记忆；神经网络语言模型；语音识别；重评估

0前言

语言模型是用数学方式描述语言学中词与词之间的约束现象，在自然语言处理技术中具有重要作用，广泛应用于语音识别、语音合成、机器翻译以及手写体识别等领域。N-Gram语言模型是一种简单有效的统计语言模型，因其简单、易用、高效等特点，在过去几十年实际应用中一直发挥重要作用[1]。目前，用于构建N-Gram语言模型的主要工具有SRILM[2]，Kenlm[3-4]以及Kaldi等。……