康文斌+彭菁+唐乾元

摘要：自动编码器（AE）和限制玻尔兹曼机（RBM）是在深度神经网络领域广泛使用的两种常见的基础性结构。它们都可以作为无监督学习的框架，通过最小化重构误差，提取系统的重要特征；更重要的是，通过多层的堆叠和逐层的预训练，层叠式自动编码器和深度信念网络都可以在后续监督学习的过程中，帮助整个神经网络更好更快地收敛到最小值点。

关键词： 深度学习；神经网络；AE；RBM

近年来，深度学习在图像和语音识别、自然语言处理、推荐系统等诸多领域中取得了许多重要的突破，深度学习的许多重大进展为解决许多长期以来难以解决的困难问题提供了崭新的思路[1-2]。深度学习以人工神经网络为结构基础，在一个神经网络中，如图1a）所示，每个神经元都是一个感知机，输入端的数据在线性组合后，经过激活函数引入了非线性因素。在一个神经网络的输入层和输出层之间常常会有一个或者多个隐藏层，如图1b）和c）中所示。通过许多个包含不同连接权重的感知机的组合和叠加，一个神经网络因而具有了极强的表示能力。“深度学习”这一名词中的深度指的是神经网络中隐藏层的数量。多个隐藏层让深度神经网络能够表示数据中更为复杂的特征，例如：在用深度卷积神经网络（CNN）进行人脸识别时，较为底层的隐藏层首先提取的是图片中一些边缘和界面的特征，随着层级的提高，图片中一些纹理的特征可能会显现，而随着层级继续提高，一些具体的对象将会显现，例如：眼睛、鼻子、耳朵等，再到更高层时，整个人脸的特征也就被提取了出来。……