陈小军

(贵阳银行股份有限公司,贵州 贵阳 550081)

0 引言

随着M2M(Machine to Machine,M2M)、SNS(Social Networking Services,SNS)、移动互联网的兴起,人工智能(Artificial Intelligence, AI)、 模式识别( Pattern Recognition)、机器学习ML(Machine Learning,ML)、人工神经网络ANN(Artificial Neural Network,ANN 、深度学习(Deep Learning)、数据挖掘(Data Mining)、计算机视觉(Computer Vision)等已成为众多学者的研究热点。由于原始数据经常是Web 数据、图像、视频等半结构化、非结构化的高维数据,如果直接对原始数据进行清洗、分析, 很容易造成维数灾难问题(Dimension Disaster)。 因此需对高维的原始数据进行降维。 通过降维,能有效地避免维数灾难问题,提高计算效率、节省计算资源[1-3]。

现有的经典降维算法主要分为线性降维算法和非线性降维算法, 其中线性鉴别算法LDA (Linear Discriminant Analysis, LDA) 与主成分分析 PCA(Principal Component Analysis,PCA)算法是两种经典的线性降维算法[1]。 LDA 算法是对原始数据的类别进行降维,属于有监督降维算法,PCA 算法是对原始数据的维度直接进行维数约简,属于无监督算法。 LDA 算法和PCA 算法需要假设原始数据服从高斯分布,降维时存在小样本SSS(Small Sample Size,SSS)问题以及样本外(Out of Sample)问题。 非线性降维算法主要是流行学习降维算法、张量降维算法。 本文主要介绍基于流行学习(Manifold Learning)的经典降维算法,并进行分析和比较。

1 流行学习概念

流行学习(Manifold Learning)是借鉴了拓扑流行概念的一种降维方法。 流行是位于局部与欧氏空间同胚的空间,高维数据样本虽然在全局空间不具有欧氏空间的性质,但是在局部空间中仍具有欧氏空间的特点,因此可以在局部欧氏空间建立映射关系,用低维流行嵌入到高维空间中然后再设法将此映射推广至全局。 边缘Fisher 算法(Margin Fisher Analysis,MFA)、近邻鉴别……