马志强，李图雅，杨双涛，张力

（内蒙古工业大学 数据科学与应用学院，内蒙古 呼和浩特 010080）

典型的大词汇量连续语音识别系统(large vocabulary continuous speech recognition，LVCSR)由特征提取、声学模型、语言模型和解码器等组成。声学模型是语音识别系统的核心组成部分，基于GMM和HMM模型构建的GMM-HMM声学模型[1]一度是大词汇量连续语音识别系统中应用最广的声学模型。在GMM-HMM模型中，GMM模型对语音特征向量进行概率建模，然后通过EM算法生成语音观察特征的最大化概率，当混合高斯分布数目足够多时，GMM可以充分拟合声学特征的概率分布，HMM模型根据GMM拟合的观察状态生成语音的时序状态[2-3]。当采用GMM混合高斯模型的概率来描述语音数据分布时，GMM模型本质上属于浅层模型，并在拟合声学特征分布时对特征之间进行了独立性的假设，因此无法充分描述声学特征的状态空间分布；同时，GMM建模的特征维数一般是几十维，不能充分描述声学特征之间的相关性，模型表达能力有限。因此，在20世纪80年代利用神经网络和HMM模型构建声学模型的研究开始出现，但是，当时计算机计算能力不足且缺乏足够的训练数据，模型的效果不及GMM-HMM[4-5]。2010年微软亚洲研究院的邓力与Hinton小组针对大规模连续语音识别任务提出了CD-DBN-HMM的混合声学模型框架[6]，并进行了相关实验。实验结果表明，相比GMM-HMM声学模型，采用CD-DBN-HMM声学模型使语音识别系统识别正确率提高了30%左右，CD-DBN-HMM混合声学模型框架的提出彻底革新了语音识别原有的声学模型框架。与传统的高斯混合模型相比，深度神经网络属于深度模型，能够更好地表示复杂非线性函数，更能捕捉语音特征向量之间的相关性，易于取得更好的建模效果[7-12]。……