周红波

(北京工业大学 体育教学部，北京 100124)

1 问题的提出

在信息爆炸的大数据时代，处理海量数据并从中获得有用信息是所有领域的共同需求。大量的高维数据给人们利用带来了许多困难。(1)维数灾难：要让智能系统有足够的学习能力，需要样本个数至少比样本维数高出一个数量级。然而当样本维数过高时，人们很难收集到足够的样本；(2)算法失效：高维数据的运算可能使得运算得次数几何级数增长，从而导致算法失效。要解决这些问题，如何对高维数据进行降维显得尤其重要。

由于矩阵SVD分解(Singular Value Decomposition，奇异值分解)具有全局最优的数据重构能力，且具有转置不变性、位移不变性、旋转不变性和镜像变换不变性等重要性质，因此，在众多研究领域都被作为非常有效的降维方法。其中PCA(Principal Components Analysis，主成分分析)方法又称Karhunen-Loeve变换或Hotelling变换，它是以矩阵SVD分解为基础的有效特征提取方法之一。

对于任意m×n矩阵，想要将其对角化，SVD分解是一个很好的选择。下文首先介绍矩阵的SVD分解。

定义1.1[2]设A为n×n方阵，α为一非零向量，若存在常数λ使Aα=λα成立，则称λ为A的一个特征值，α为A的对应于特征值λ的特征向量。

对于任意的n×n对称矩阵必可以由其特征值与特征向量对角化[2]，而对于非对称的m×n矩阵A，可以考虑ATA，由于其必定为n×n的对称矩阵，从而可以对角化。

设A为m×n的矩阵，令v1,v2,…,vn为ATA的单位正交的特征向量，对应的特征值分别为λ1，λ2，…，λn，则有：

即ATA所有特征值均非负，从而可以将其由小到大重新排序，排序后使得特征值满足：