刘文辉 许瑞

摘  要：针对少数民族人脸识别效果的关键在于能否有效提取该民族面部特征的问题，文章提出了将3种特征提取方法——PCA、LBP和Gabor小波应用于少数民族人脸图像特征提取的方法。首先，对少数民族人脸图像预处理归一化，以便消除光照姿态等影响，然后运用3种方法提取维吾尔族和哈萨克族人脸图像的特征，最后使用K近邻分类算法对所提取的民族特征进行了验证，Gabor小波提取的民族特征有最好的效果，2个民族识别率达到了96.75%和97.02%。

关键词：特征提取;PCA;LBP;Gabor小波

中图分类号：TP391.41     文献标识码：A 文章编号：2096-4706（2020）21-0088-03

Research on Facial Feature Extraction of Ethnic Minorities

LIU Wenhui，XU Rui

（School of Information Sciences and Technology，Xinjiang Teachers College，Urumqi  830043，China）

Abstract：In view of the problem that the key to the effect of minority face recognition is whether the facial features can be extracted effectively，the article proposes a method to apply three feature extraction methods——PCA，LBP and Gabor wavelet to the feature extraction of minority face images. Firstly，the minority face image is preprocessed and normalized to eliminate the influence of illumination and posture. Then，three methods are used to extract the features of Uygur and Kazakh face images. Finally，the K-nearest neighbor classification algorithm is used to verify the extracted ethnic features. Gabor wavelet has the best effect，and the recognition rate of the two ethnic minorities reaches 96.75% and 97.02%.

Keywords：feature extraction;PCA;LBP;Gabor wavelet

0  引  言

少數民族面部特征研究属于人脸识别研究的重要内容。研究表明不同民族之间存在面部特征的差异。即使同一民族在不同地域之间也会表现出细微的差异，研究这些差异有助于深化人脸识别技术，并可以作为历史演变的重要依据。新疆地处祖国大西北，战略地位极为重要。其中该地区主要民族成分是少数民族，具有较为独特的面部特征。该地区人脸特征与邻近我国的几个国家的人脸特征有许多相似之处，因此研究该地区少数民族的人脸识别技术对促进新疆信息技术的发展有重要意义[1]。研究少数民族人脸识别，首先要考虑如何有效提取各民族典型人脸特征的数字化问题。近年来人脸识别中已经出现了一批经典人脸特征提取方法，比如：PCA和KPCA方法、Gabor小波特征、LBP特征提取、面部肤色特征提取、聚类特征等[1-3]，但是人脸图像的特征很容易被光照、表情、眼镜、胡须等影响和干扰，因此将这些方法应用到提取人脸图像民族特征时，需要考虑如何对图像进行预处理，如何取消非均匀光照影响、降低表情干扰和局部遮挡影响，如何压缩和选取特征等问题[1]，为此，本研究团队预备在这方面做一些有益探索，比如少数民族人脸图像双眼定位基准问题、归一化民族图像问题、少数民族人脸图像五官的特征提取方法等。考虑到可以将现有人脸识别的一些方法应用于面部的民族特征提取，本研究将把PCA、LBP和Gabor小波3种特征提取方法引入到少数民族人脸图像的特征提取上来，分析各种方法之间的差异性，揭示各个少数民族人脸图像民族特征的基本方法。

1  几种常用脸部图像特征提取方法

人脸识别准确率的高低主要取决于对图像有效特征的提取，其次才是具体的识别算法。研究表明人脸的特征既有反映人脸整体的全局性特征，也有反映人脸细节和局部信息的局部性特征。从人脸图像提取方法角度来看，主要有两类特征提取方法。一类是以反映人脸中五官位置信息的特征，我们称之为几何特征，这类特征提取方法主要有：特征点选取、肤色特征、距离特征等，几何特征属于高层特征，与人类识别的方法类似，但是提取特征时要考虑轮廓和匹配问题，自动化特征提取较为困难;一类是以人脸图像矩阵为基础进行各类变换，提取矩阵的统计特征，我们称之为代数特征，这类特征提取方法主要有：PCA、傅里叶变换特征;小波特征（Gabor特征）等。其中人脸图像的代数特征提取方法不需要考虑图像对准匹配等操作，更适应自动化大规模操作，从而该类方法称为当前研究的主流。本文也是选取代数特征提取方法为主来提取少数民族人脸图像的特征。

1.1  PCA特征提取方法

主成分分析法（principle component analysis），该方法是将所有训练样本组成原始矩阵，然后对该矩阵进行正交变换[1]。具体过程如下：

将k个图像样本堆叠为k行，n列的矩阵：S={S1×n，S2×n，…，Sk×n}，其中Si×n为第i个样本图像。S的协方差矩阵为：

（1）

令：

J（X）=tr（G）                            （2）

J为投影变换，则取Max（J（X））的投影方向X即为特征向量，即：

Y=SX                                      （3）

Y为最大方差投影方向，是包含信息最多的方向。通常可以选取其中d个较大特征值，其对应特征向量X1，X2，…，Xd，即为投影方向，进而可以大幅度压缩维度。

1.2  LBP特征

为了进一步减少光照对人脸特征的影响，Timo等学者提出了LBP特征提取方法，并在人脸识别领域取得了较好的效果。该方法的主要思路是以图像每个中心点像素灰度值为阈值，以r为半径，包含p个像素点圆形区域，比较该邻域中像素点灰度值与中心点灰度值，从而构造二进制码，即LBP值，如图1所示。

LBP特征可以很好反映图像的纹理特征，且具有较强的光照鲁棒性，其统计直方图往往可以作为人脸的纹理特征[2]。

1.3  Gabor小波特征

Daugman最早把Gabor小波用于提取图像特征，并发现了Gabor小波与人类视觉细胞对光信号的刺激方式有很多相似之处，且该特征对方向图像边缘变化响应灵敏。Gabor变换为：

（4）

其中，h（x，y）为二维Gabor滤波器，θ为Gabor滤波器的方向，σu和σv分别为高斯包络在u轴和v轴上的标准差（u轴平行于θ、v轴垂直于θ）， 为调制频率。h（x，y）可以进行旋转变换和尺度变换，让图像与滤波器h（x，y）做卷积操作，将产生一系列Gabor小波。可以将Gabor函数分解为实部R（x，y）和虚部I（x，y）两个分量，则该复函数的模就可以作为使用Gabor小波提取的图像特征[3]。

2  新疆少数民族面部特征提取方法

建立高质量和大数量的少数民族人脸图像库是研究少数民族人脸特征的关键基础，本研究在相关基金的支持下，构建了一个新疆少数民族人脸图像库，主要选取居住在祖国边疆地区县乡的维吾尔族、哈萨克族等民族的人脸图像，如图2所示。

一般来说，原始图像都存在光照、姿态、遮挡等干扰噪声，如果不对其进行处理，将会大幅度增加特征噪声，甚至使得特征掩盖于噪声中，因此需要对原始图像做预处理工作。少数民族人脸图像的预处理工作主要有图像的灰度归一化和几何归一化两个方面的工作。灰度归一化工作的主要目的是消除光照影响，常用的方法有直方图均衡化等方法;几何归一化主要消除姿态影响，主要有图像配准方法等。

2.1  少数民族人脸图像的PCA特征提取

选取维吾尔族、哈萨克族人脸图像各600幅为样本图像。首先对图像归一化预处理，图像大小为120×100，为消除光照影响，对图像做直方图均衡化处理。构建样本矩阵S1、S2和S。S1为维吾尔族人脸图像矩阵（600×12 000），S2为哈萨克族人脸图像矩阵（600×12 000），S为2个民族混合人脸图像矩阵（1 200×12 000）。其中S1中任取500个样本作为训练样本，100个样本作为测试样本;S2按照S1同样处理。PCA方法的主要特点是将全部人脸图像向某个特征向量方向投影，即最大信息熵方向，为此采用如下方法投影压缩：

对S1使用PCA算法进行维数压缩。按照特征值大小顺序排列，贡献率设置为90.00%，这样获得矩阵，则取W1=E（），E为数学期望，即的均值向量作为维吾尔族人脸特征。

对S2类似处理，取W2=E（），即  的均值向量作为哈萨克族人脸特征。

对全体样本矩阵S使用PCA压缩，压缩维数与S1相同。

样本距离计算取欧氏距离，设x和xi为任意2个样本向量，即：

d=‖x-xi‖                                  （5）

分類算法使用K近邻分类算法，计算待分类图像特征到所有图像的欧式距离，以周围已经分类图像的类别为本图像的分类类别。算法循环执行100次，识别率取均值，则维吾尔族识别率为94.63%，哈萨克族识别率为96.41%。

2.2  少数民族人脸图像的LBP特征提取

在上面2个民族人脸图像中各自选取200幅图像，其中每个民族人脸图像选取150幅作为训练样本，50幅作为测试样本，预处理同上操作。首先需要标注少数民族人脸图像关键点16处：即额头3点、眉毛3点、眼睛1点、鼻尖1点、脸颊2点、嘴巴3点、下巴3点，然后对这16个关键点使用LBP算子计算，如图3所示。

样本距离计算还是取欧氏距离，即式（5）。分类算法使用K近邻分类算法，分类算法循环执行100次，识别率取均值，则维吾尔族识别率为92.52%，哈萨克族识别率为94.18%。可以看出LBP特征提取的识别率略低于PCA，这主要是由于本方法仅仅标注了16个关键点，对面部特征的全局信息丢失较多的缘故。

2.3  少数民族人脸图像的Gabor小波特征提取

按照上面方式选取维吾尔族、哈萨克族人脸图像各300幅，共计600幅人脸图像。选取每族100幅作为测试样本，其余作为训练样本。预处理操作与前面相同。

在上面Gabor变换式（4）中，令：

k=kve-jφμ

kv=kmax/f v                                   （6）

其中，f v为频率尺度，φμ为采样方向角度。本文采用φμ={0，π/8，π/4，3π/8，π/2，5π/8，3π/4，7π/8}8个方向，v={0，1，2，3，4}5个尺度频率。因此，每幅图像有40个Gabor特征图像，将这40个特征图像依次展开为1个样本特征，这样维吾尔族人脸特征图像矩阵的阶数为：300× 480 000;哈萨克族人脸图像类似处理。采用PCA压缩特征和取矩阵均值作为2个民族人脸的Gabor特征代表，最后使用样本距离计算，取欧氏距离，即式（5），分类算法使用K近邻分类算法，分类算法循环执行100次，识别率取均值，则维吾尔族识别率为96.75%，哈萨克族识别率为97.02%。可以看出Gabor小波特征提取的民族特征识别率较高，这是因为Gabor小波特征提取特征较为全面，既包含图像局部信息，也包含全局信息，但是所提取的特征维数较高。

3  结  论

本文将人脸识别中常用的3种特征提取方法：PCA、LBP、Gabor小波，运用于少数民族人脸特征提取。探索了在使用这3种方法时，如何进行少数民族人脸图像预处理、标识和标注关键点等问题，在此基础上使用3种方法提取图像中的民族特征，并运用K近邻算法进行分类，以确定提取的民族特征的有效性。经研究发现维吾尔族与哈萨克族人脸特征区别明显，特别是采用Gabor小波提取民族特征效果较好，有一定实用价值。当然另一方面由于时间所限，我们仅仅研究了2个民族的情形，如果是较多民族情形特征提取的有效性还有待进一步验证。

参考文献：

[1] 刘文辉，许瑞，刘华咏，等.基于分块KPCA集成的人脸民族特征提取研究 [J].计算机科学，2014，41（9）：294-297+319.

[2] 张敦凤，高宁化，王姮，等.基于分块LBP融合特征和SVM的人脸识别算法 [J].传感器与微系统，2019，38（5）：154-156+160.

[3] LI C，WEI W，LI J X，et al.A cloud-based monitoring system via face recognition using Gabor and CS-LBP features [J].The Journal of Supercomputing，2017，73（4）：1532-1546.

作者簡介：刘文辉（1969—），男，汉族，河北深州人，毕业于华中师范大学，副教授，硕士，研究方向：图像处理、模式识别、人脸识别等;许瑞（1967—），女，汉族，甘肃高台人，毕业于新疆大学，副教授，硕士，研究方向：中文信息处理、模式识别等。