自编码器及其应用综述
2021-09-28来杰王晓丹向前宋亚飞权文
来杰,王晓丹,向前,宋亚飞,权文
(1.空军工程大学防空反导学院,陕西 西安 710051;2.空军工程大学空管领航学院,陕西 西安 710051)
1 引言
深度学习作为机器学习领域的研究热点,自被Hinton 等[1]提出后,便深刻影响着机器学习的发展走向。深度学习通过构建多层神经网络模型,逐层提取样本的高级抽象特征,而后通过分类器或回归算法完成抽象特征到期望输出的映射。与浅层神经网络相比,深度学习模型的多层网络结构拥有更强的特征提取能力,避免了传统机器学习算法需要人工选取特征的局限[2],同时采用贪婪预训练方式,逐层初始化网络参数,加快了网络收敛速度[3]。深度学习模型的优异性能得益于其复杂的网络结构,而复杂的网络结构则需要大量样本进行训练。然而在有监督学习模式下,大量样本标签的人工标注是非常困难的,这促进了无监督深度学习模型的发展[4]。典型的深度无监督学习模型有自编码器(AE,autoencoder)[5-6]、受限波尔兹曼机(RBM,restricted Boltzmann machine)[7-8]与生成对抗网络(GAN,generative adversarial network)[9]。
自编码器作为典型的无监督深度学习模型,旨在通过将网络的期望输出等同于输入样本,实现对输入样本的抽象特征学习。Rumelhart 等[5]最早提出了自编码器的概念,Bourlard 等[6]对其进行了详细的阐释。随着深度学习得到空前的关注,AE 也被广泛研究与改进[10-13]。为获得高维且稀疏的抽象特征表示,Ng[10]通过在隐含层输出中引入稀疏性限制,迫使网络使用较少神经节点提取有效特征,提出了稀疏自编码器(SAE,sparse autoencoder)。Vincent 等[11]提出了去噪自编码器(DAE,denoising autoencoder)。……
