罗 璇 张 莉 薛杨涛 李凡长

(1.苏州大学计算机科学与技术学院,苏州,215006；2.苏州大学机器学习与类脑计算国际合作联合实验室，苏州，215006)

引 言

近年来，随着科学技术的发展，数据的数量和维度呈现出快速增长的趋势。降维不仅可以简化模型、降低模型的训练时间，而且可以提高模型的泛化能力。因为高维数据难以表达且需要较高的计算和存储代价，所以降维方法成为机器学习和模式识别领域中的热门研究方向，并已在人脸识别、手写体识别等系统中取得了良好的效果。

降维方法可分为线性和非线性两种。线性降维方法，如主成分分析法(Principal component analysis, PCA)[1]、线性判别分析(Linear discriminant analysis, LDA)[2]等，几何表达简单、计算成本较低，是分析高维数据的基础。PCA由Karl Pearson于1901年提出,该方法使用正交线性变换将一组观测的可能相关变量转换为一组线性不相关变量，这些不相关变量叫做主成分。拥有最大方差，即尽可能不相关的数据称为第一主成分，并以此类推。PCA算法的核心是对数据协方差矩阵进行特征分解。LDA算法与方差分析和回归分析密切相关，它试图找到一组特征的线性组合，能将多个对象尽量分开，即找到最佳投影方向。

如果所需的特征在一个低维的流形子空间中，那么传统的线性降维算法并不能很好地提取出该非线性结构，因此很多非线性的流形学习算法被提出，包括等距映射(Isomap)[3]、拉普拉斯特征映射(Laplacian eigenmaps, LE)[4]及局部线性嵌入(Locally-linear embedding, LLE)[5]等。

但是以上流形学习算法只考虑了训练样本，处理过程中未能得到一个显式映射，因此不能处理新样本，即所谓的“out of sample”问题。……