谢群辉 陈松灿

(南京航空航天大学计算机科学与技术学院，南京，211106)

引 言

线性判别分析(Linear discriminant analysis，LDA)是一种流行的有监督数据降维和可视化工具，广泛用于模式识别和机器学习等各个领域[1-2]；它最大化类间散度的同时最小化类内散度，提取数据特征，将高维投影到2～3维即获得可视化，能更直观理解和探索潜在的数据结构[3]，有利于其后续的分类算法获得更好的泛化性能。判别分析可分为线性型和非线性型两大类，上述提及的LDA[4]是线性型的代表之一，而传统的非线性判别方法主要包括神经网络和核方法，如核LDA(Kernel linear discriminant analysis，KLDA)[5]，流形判别分析[6]，(深度)神经网络[7-8]和深度判别分析[9]等。其中KLDA采用核函数将输入样本映射到高维特征空间，而后利用LDA进行线性分类。而神经网络(Neural network，NN)则通过多层结构的非线性变换将输入映射到输出空间以实现非线性判别。尽管NN缺乏核方法那样的简洁表示方式，但NN所具有的分布并行特点和其对连续函数的万能逼近性使其获得了广泛应用。事实上，基于NN的判别分析可追溯到1995年Mao和Jain的先驱性工作[10]，即神经网络判别分析方法(Neural networks discriminant analysis，NNDA)，该工作促发了众多非线性化分类和可视化研究。目前该文被引数已超680次，并在1996年获得了IEEE TNN期刊年度最佳论文奖[11]。然而，与其他多层前向网络训练类似，NNDA存在优化收敛速度慢、易陷入局部最小、且因网络结构复杂易导致过拟合等问题。1999年由Scholkopft等[12]提出的KLDA，利用核技巧避免了NNDA复杂的优化。相对NNDA，其判别投影仅需通过求解一广义特征值方程即可获得解析解，不仅快速而且学习性能优良，因而受到广泛关注和应用，该工作目前的引用数已超2 240次。……