戴礼荣 张仕良

（中国科学技术大学语音与语言信息处理国家工程实验室，合肥，230027）

引 言

近年来深度学习［1-2］逐渐成为机器学习领域的研究热点，与此同时，深度学习也在语音信号和信息处理研究领域受到重视并取得较成功的应用，有可能给语音信号与信息处理研究领域带来新的发展变化。

深度学习是指利用多层的非线性信号与信息处理技术进行有监督或者无监督以特征提取、信号转换和模式分类等为目的的机器学习方法［3］。这里的深度是指采用深层的结构［4］模型对信号和信息进行处理。传统的机器学习模型，很多属于浅层结构模型，例如：隐马尔科夫模型（Hidden Markov model，HMM）、线性或者非线性动态系统、条件随机场（Conditional random fields，CRFs）、支持向量机（Support vector machines，SVMs）、单隐层的神经网络（Neural network，NN）等。这些浅层结构模型的共同特点是对于原始的输入信号只经过较少层次（如一层）的线性或者非线性处理以达到信号与信息处理的目的。其优点在于结构简单、易于学习，而且在数学上有比较完善的算法。但是对于一些复杂的信号，采用浅层的结构模型其表达能力具有一定的局限性，如浅层模型输入和输出中间是有限的线性或者非线性变换组合，所以并不能充分地学习到信号中复杂的结构信息。而深层结构的模型，由于其多层非线性变换的复杂性［5］，具有更强的表达与建模能力，更适合于处理复杂类型的信号，如语音信号。

人类语音信号的产生和感知过程就是一个复杂的过程，而且在生物学上是具有明显的多层次或深层次处理结构［6］。……