高建强，范丽亚



模糊线性判别分析中距离对面部识别的影响

*高建强，范丽亚

（聊城大学数学科学学院，山东，聊城 252059）

针对面部识别问题提出了基于QR分解的模糊线性判别分析方法, 并通过ORL、Yale和FERET人脸数据实验研究了该方法在不同距离下对面部识别率的影响；同时还研究了KNN分类器中K值的选择对面部识别率的影响。实验结果表明, 距离的选取对面部识别率的结果有明显的影响。对不同的人脸数据集来说, KNN分类器中的K的选取也会对识别率有影响。对于ORL面部图像数据来说, 在Minkowski距离下(m=3), K=1时分类效果最好; 对于YALE人脸数据,在Chebyshey距离下, K=5时分类效果最好; 对于FERET人脸数据, 在绝对距离下, K=1时分类效果最好。

模糊线性判别分析；QR分解；距离；识别率；小样本

在面部识别中，我们首先遇到的难题就是数据的维数过高，因此要去降维。降维就是把高维数据映射到低维子空间的过程。通过降维，可以极大化类间分离性。线性判别分析(Linear discriminant analysis，简记为LDA[1])和主成分分析(Principal component analysis，简记为PCA[2])是两种不同的降维方法。LDA是以模式数据的可分性为目标，寻找一组最佳判别向量使每类的类内离散度最小，同时使类间的离散度达到最大。然而，传统LDA的计算要求类内离散矩阵可逆(非奇异)，可在许多实际应用场合如人脸识别、图像检索以及声音识别等, 样本维数往往大于或接近于样本个数，则类内离散矩阵不可逆(奇异)或是病态的，因此传统LDA很难直接计算或不稳定，即碰到所谓的“小样本”(S3)问题[3]。

近年来, 出现了许多LDA改进算法来克服奇异性问题, 包括零空间LDA(NLDA)[4]、不相关LDA(ULDA)[5]、正交LDA(OLDA)[6]、广义奇异值分解LDA(GSVD-LDA)[7]、直接LDA(DLDA)[8]、正则化LDA(RLDA)[9]、LDA/QR[10-11]、核判别分析[12]和模糊线性判别分析[13]，对于小样本问题，特别是面部图像识别问题，在文献[14]中GAO和FAN通过对核判别分析实行加权法研究了不同参数对面部图像分类率的影响。在文献[15]中研究了加权线性判别分析和加权主成分分析中距离对面部识别率的影响等。

针对上述问题，本文研究了基于QR分解的模糊线性判别分析算法中距离对面部识别率的影响，其中模糊线性判别分析方法引入了模糊集理论来优化特征提取，利用隶属度来描述样本的分布信息，得到一个较好的类中心位置估计。同时还研究了KNN分类器中K值的选择对面部识别率的影响。

1 LDA、PCA和KNN分类器

2 LDA/QR方法

在面部识别问题中, 设训练样本集

算法1: LDA/QR

3 模糊线性判别分析方法

K.C.-Kwark 等[11]提出的模糊线性判别方法，引入了模糊方法改进了原来的LDA方法，能更加有效地提取对识别有用的信息。训练样本的隶属度描述了样本的分布信息，能较好的反应训练人脸图像中因为光照、姿态等引起的多种变化。

3.1 隶属度计算

(I) 在训练集中计算任意两个样本间的欧式距离,组成欧氏距离矩阵；

(II) 对(I)中得到的矩阵，把它的对角线上的元素设为无穷大；

3.2 投影变换阵隶属度计算

则根据Fisher准则可以得到最优投影矩阵：

4 FLDA/QR算法

是非奇异矩阵，根据伪逆的定义，得到

因此

即得

通过定理2，我们提出下面的算法。

算法2: FLDA/QR

(a) 对训练样本集的每张人脸特征向量分别计算出六种不同的距离, 得出六种不同的距离矩阵；

(b) 把这六种不同的距离矩阵的对角线元素分别设为无穷大；

(c) 按3.1节得出不同的隶属度，然后按(8)式进行计算;

5 六种不同的距离

(c) Minkows距离:

(d) Chebyshey距离：

(f) 方差加权距离：

6 实验结果和分析

6.1 ORL人脸库

ORL人脸库由英国剑桥大学(American Telephone and Telegraph Company)实验室创建，共有40个不同年龄、不同性别和不同种族的个体。每个个体10幅脸部图像，共计400幅灰度图像，图像背景为黑色，包含了人脸姿态，表情和遮挡变化，人脸的尺寸也有不超过10%的变化。实验中选取每人8幅图像作为训练样本构造了一个训练集，其余样本构成测试集。实验结果如表1所示。

表1 ORL人脸在不同距离下的识别率(%)

Table 1 Recognition rate of ORL Under different distances

6.2 YALE人脸库

YALE 人脸库有15个人，每个人有11幅灰度图像，一共165幅图像，包括了如：光照角度、表情变化和有无如眼镜等附着物。实验中选取每人8幅图像作为训练样本构造了一个训练集，其余样本构成测试集。实验结果如表2:

表2 YALE人脸在不同距离下的识别率(%)

6.3 FERET人脸库

FERET人脸库由美国国防部的FERET项目创建，我们只取了其中的部分图像,包含1000张不同姿态，光照和表情的灰度人脸图像，是人脸识别领域应用最广泛的人脸数据库之一。本文的实验中，选择FERET人脸库中的200人，每人5幅图像组成了一个子库。实验中选取每人2幅图像作为训练样本构造了一个训练集，其余样本构成测试集。实验结果如表3:

表3 FERET人脸在不同距离下的识别率(%)

Table 3 Recognition rate of FERET Under different distances

7 实验结果的视觉图像

对ORL，YALE，FERET三个面部图像数据，这里取KNN分类器中的=1，=3，=5，来画出六种距离下的面部识别率结果，如图(1-3)所示：

图1 三个面部数据在下的识别率

图2 三个面部数据在下的识别率

图3 三个面部数据在下的识别率

从图1，图2，图3可以看出距离对FERET面部图像的识别率影响最大, 对YALE面部图像识别率也有影响，而对ORL面部图像的识别率影响最小，几乎看不出有较大的波动；从这三个图像中还可以清楚地看到：在 Chebyshey距离和最小距离下，对FERET面部图像数据的识别率是最差的。

8 结论

[1] Park C H, Park H. A comparison of generalized linear discriminant analysis algorithms[J]. Patter Recognition, 2008, 41:1083-1097.

[2] Duda R, Hart P, Stork D. Pattern classification[J]. second ed., New York: wiley, 2000.

[3] Krzanowski W J, Jonathan P, Mccarth Y W V, et al. Discriminant analysis with singular covariance matrices: methods and applications to spect roscopic data[J]. Applied Statistics, 1995, 44 (11): 101-115.

[4] Ye J, Xiong T. Null space versus orthogonal linear discriminant analysis[J]. Proceedings of the 23rd international conference on Machine learning, 2006, 1073-1080.

[5] Ye J, Janardan R, LI Q, et al. Feature extraction via generalized uncorrelated linear discriminant analysis [J]. Proceeding International Conference on Machine Learning, USA, ACM, 2004, 69: 895-902.

[6] Ye J. Generalized low rank approximations of matrices[J]. Proceedings of the twenty-first international conference on Machine learning, 2004, 26(1): 131-137.

[7] Park H. Generalizing discriminant analysis using the generalized singular value decomposition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 995-1006.

[8] Yu H, Yang J. A direct LDA algorithm for high-dimensional data-with application to face recognition[J]. Pattern Recognition, 2001, 34(10): 2067-2070.

[9] Friedman J H. Regularized discriminant analysis[J]. The American Statistical Association, 1989, 84 (405): 165-175.

[10] Ye J, Li Q. LDA/QR: An efficient and effective dimension reduction algorithm and its theoretical foundation[J]. Pattern recognition, 2004, 37: 851-854.

[11] Ye J, Li Q. A two-stage linear discriminant analysis via QR decomposition[J]. IEEE transaction on pattern analysis and machine intelligence, 2005, 27(6): 929-941.

[12] Mika S, Ratsch G, Weston J, et al. Fisher discriminant analysis with kernels[J]. IEEE International workshop on Neural Networks for Signal Processing, IX,1999 (8): 41-48.

[13] Kw K C, Pedry W. Face recognition using a fuzzy fisher classifier[J]. Pattern Recognition, 2005, 38(10): 1717-1732.

[14] GAO Jianqiang, FAN Liya. Kernel-based weighted Discriminant Analysis with QR Decomposition and Its Application Face Recognition[J]. WSEAS Transactions on Mathematics, 2011, 10(10):358-367.

[15] 高建强,范丽亚.加权PCA 和加权LDA 中距离对分类结果的影响[J].聊城大学学报:自然科学版, 2010,23(4): 4-8.

[16] Fukunaga K. Introduction to statistical pattern classification academic press[M]. California:San Diego, USA,1990.

[17] Park H, Jeon M, Rosen J. lower dimensional representation of text data based on centroids and least spuares[J]. BIT, 2003, 43(2): 1-22.

[18] Zadeh L A. Fuzzy sets[J]. Information Control, 1965, 8: 338-353.

The impact on the face recognition from distances in fuzzy linear discriminant analysis

*GAO Jian-qiang，FAN Li-ya

（School of Mathematical Sciences, Liaocheng University, Liaocheng,Shangdong 252059, China）

A fuzzy linear discriminant analysis method based on QR decomposition for face recognition problems is proposed. By means of experiments with ORL, Yale and FERET face databases, we study the affection of different distances in linear discriminant analysis method based on QR decomposition for face recognition rate. Furthermore, we also study the affection of different K-values in KNN classifier for face recognition rate. The experimental results show that the selection of distances has a significant impact for the results of the face recognition rate. For different face database, the K value of KNN classifier selection will also affect the recognition rate. For ORL face image data, in the Minkowski distance (m=3), K=1 have the best classification results. For YALE face data, in the Chebyshey distance, K=5 have the best classification results. For the FERET face data, in the absolute distance, K=1 have the best classification results.

fuzzy linear discriminant analysis; QR decomposition; distance; recognition rate; small size sample

1674-8085(2012)03-0001-07

TP391

A

10.3969/j.issn.1674-8085.2012.03.001

2012-03-28；

2012-04-14

国家自然科学基金项目(10871226), 山东省自然科学基金项目(ZR2009AL006);山东省中青年科学家科研奖励基金资助项目(BS2010SF004)

*高建强(1982-)，男，山东临沂人，硕士生，主要从事模式识别研究(E-mail:gaojianqiang82@126.com);

范丽亚(1963-)，女，安徽太和人，教授，研究生导师，主要从事模式识别研究(E-mail: fanliya63@126.com).