APP下载

自编码器及其应用综述

2021-09-28来杰王晓丹向前宋亚飞权文

通信学报 2021年9期
关键词:特征提取特征

来杰,王晓丹,向前,宋亚飞,权文

(1.空军工程大学防空反导学院,陕西 西安 710051;2.空军工程大学空管领航学院,陕西 西安 710051)

1 引言

深度学习作为机器学习领域的研究热点,自被Hinton 等[1]提出后,便深刻影响着机器学习的发展走向。深度学习通过构建多层神经网络模型,逐层提取样本的高级抽象特征,而后通过分类器或回归算法完成抽象特征到期望输出的映射。与浅层神经网络相比,深度学习模型的多层网络结构拥有更强的特征提取能力,避免了传统机器学习算法需要人工选取特征的局限[2],同时采用贪婪预训练方式,逐层初始化网络参数,加快了网络收敛速度[3]。深度学习模型的优异性能得益于其复杂的网络结构,而复杂的网络结构则需要大量样本进行训练。然而在有监督学习模式下,大量样本标签的人工标注是非常困难的,这促进了无监督深度学习模型的发展[4]。典型的深度无监督学习模型有自编码器(AE,autoencoder)[5-6]、受限波尔兹曼机(RBM,restricted Boltzmann machine)[7-8]与生成对抗网络(GAN,generative adversarial network)[9]。

自编码器作为典型的无监督深度学习模型,旨在通过将网络的期望输出等同于输入样本,实现对输入样本的抽象特征学习。Rumelhart 等[5]最早提出了自编码器的概念,Bourlard 等[6]对其进行了详细的阐释。随着深度学习得到空前的关注,AE 也被广泛研究与改进[10-13]。为获得高维且稀疏的抽象特征表示,Ng[10]通过在隐含层输出中引入稀疏性限制,迫使网络使用较少神经节点提取有效特征,提出了稀疏自编码器(SAE,sparse autoencoder)。Vincent 等[11]提出了去噪自编码器(DAE,denoising autoencoder)。……

登录APP查看全文

猜你喜欢

特征提取特征
特征提取和最小二乘支持向量机的水下目标识别
如何表达“特征”
基于Gazebo仿真环境的ORB特征提取与比对的研究
不忠诚的四个特征
基于Daubechies(dbN)的飞行器音频特征提取
Bagging RCSP脑电特征提取算法
基于MED和循环域解调的多故障特征提取
线性代数的应用特征
Walsh变换在滚动轴承早期故障特征提取中的应用