黄 孝 平

(南宁学院　广西 南宁 530200)



基于Gabor-PCA的人脸遮挡区域重建算法

黄 孝 平

(南宁学院广西 南宁 530200)

针对遮挡人脸重建和识别问题，提出一种基于Gabor滤波和主成分分析相融合的人脸遮挡区重建算法。首先通过构建5维8方向的Gabor直方图信息分类器，从人脸库中选择Gabor直方图信息与待重建原始人脸图像在外形轮廓等粗信息更为接近的图像组成训练样本集，然后采用主成分分析对奇异值分解重建协方差矩阵进行投影形成重建图像，最后进行仿真实验。结果表明，该算法可以得到平滑自然的重建人脸图像，而且具有较强的适应性。

人脸重建训练样本主成分分析遮挡人脸

0　引　言

人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，是一种重要的生物特征识别技术，其在公共安全监测、身份鉴定、门禁系统等领域得到了广泛的应用[1]。在人脸识别应用中，人脸图像的遮挡(如眼镜、口罩、围巾等)会经常出现，而遮挡对人脸识别的性能影响很大，因此，对人脸遮挡进行区域重建，提高人脸识别率成为图像处理研究中的热点问题[2]。

由于遮挡人脸识别具有十分重要的实用价值，国内外学者对进行了大量研究，提出了一些许多有效的遮挡人脸重建和识别算法[3]。遮挡人脸图像分为无意和有意遮挡，无意遮挡包括帽子、围巾、眼镜等，有意遮挡为墨镜口罩或是其它物体挡住面部五官，其有意遮挡通常由于特征变化过大，容易造成识别失败，较低几率造成误识别。而无意遮挡通常仅仅遮挡小部分面部特征，导致特征提取过程中引入过多干扰特征，使其它重要特征置信度降低，有较高的几率造成误识别[4]。人脸遮挡区域重建属于高维矩阵计算范畴，当前主要有主成分分析法PCA(PrincipalComponentAnalysis)、核主成分分析法KPCA(KernelPrincipalComponentAnalysis)、局部保持投影LPP(LocalityPreservingProject)、模糊主分量(FuzzyPCA)等[5-8]。这些方法通过对比遮挡人脸与非遮挡人脸子空间上的绝对误差来判断遮挡区域，然后对遮挡区域进行重建，并提出人脸特征；当投影矩阵或协方差矩阵直接满足局部正交时，它们函数不会陷入局部最大化，但是训练样本多样性使重建人脸容易陷入局部最大化以及协方差矩阵分解耗时严重问题，而且它们默认函数符合局部正交，这不符合人脸识别实际应用实际情况[9]。Gabor滤波器可以从同方向、不同尺度对人脸图像局部结构信息进行捕捉，对人脸姿态和光照变化不敏感，在人脸识别应用最为广泛，然而Gabor滤波器存在计算量，而且特征维数很高等难题[10]。

针对当前遮挡人脸重建算法存在的缺陷，为了改善人脸重建效果，提出一种基于Gabor滤波和主成分分析(PCA)相融合的人脸遮挡区重建算法(Gabor-PCA)。首先通过构建Gabor直方图信息分类器，并根据待重建原始人脸图像相应的Gabor直方图信息，从人脸库中选择轮廓信息更为接近的图像作为训练样本集，然后在PCA进行降维，最后通过仿真实验测试算法的有效性。

1　Gabor-PCA的人脸重建算法

1.1Gabor-PCA的工作原理

在人脸图像中，五官结构、人脸长宽比例等信息比较固定，和而表情、姿态、发型、肤色、饰物等细节信息变化比较大，为此在人脸重建之前，对人脸图像样本进行分类，选择重构人脸相似度比较大的人脸组成训练集。为此，首先构建Gabor直方图信息，对训练样本进行分类，然后根据待重建人脸相应的Gabor直方图信息从人脸库中选择细节信息更为匹配的图像作为训练样本集，最后采用PCA重建协方差矩阵来降维，提高了人脸识别效果具体如图1所示。

图1　Gabor-PCA的工作流程

1.2Gabor和PCA算法

1.2.1Gabor算法

用Gabor滤波器人脸图像处理，具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向的空间频率(尺度)和局部性结构特征。当有光照变量、姿态和表情的变化时，不仅能够增强人脸中一些关键特征，并且对图像的局部形变具有良好的鲁棒性[11]。Gabor滤波器定义如下：

(1)

式中，z=(x,y)表示像素点；kμ,ν=kvejφμ，kv=kmax/fv，φμ=πμ/8。

Gabor滤波器的方向和尺度分别为μ和ν，采用5个尺度(ν=0,1,…,4)，8个方向(μ=0,1,…,7)的Gabor滤波器组对人脸图像进行滤波处理。令I(x,y)表示人脸图像，对其做Gabor滤波处理即为下面的卷积运算：

Gμ,ν(x,y)=I(x,y)*ψμ,ν(z)

(2)

选用5个尺度、8个方向的Gabor滤波器组，v∈{0,1,2,3,4}，u∈{0,1,2,…,7}，提取的人脸图像的Gabor特征如图2所示。

图2　人脸图像的Gabor特征表征

每个像素点Z=(x,y)的多尺度和多方向特征表示为Gu,v(z)，那么人脸图像特征向量为：

{Gu,v(z):u∈(0,1,…,7),v∈(0,1,…,4)}

(3)

1.2.2PCA算法

主成分分析(PCA)通过K-L变换抑制具有较少信息量的系数来实现数据维度的减少，PCA将多维人脸图像信息转换成少数几个主成分，这些成分包含了大多数的图像信息，提高人脸识加紧效率。假定现有N个样本特征{x1,x2,…,xN}，每个特征是一个n维空间且属于类别{X1,X2,…,Xc}的某一类。考虑一种线性变换，从n维空间映射到m维空间满足m

yn=WTxkk=1,2,…,N

(4)

式中，WT是一个带有正交列的矩阵。

假定总样本散点矩阵定义如下：

(5)

式中，N为样本数量；μ∈Rn是所有样本的均值。

接着可以采用线性变换：

(6)

式中，{wi|i=1,2,…,m}是n维特征空间散点集ST对应的m个最大特征向量，也成为模型的映射特征。

1.3Gabor-PCA的工作步骤

(1) 收集人脸图像，并对其进行归一化处理。

(2) 构建Gabor函数，主要设置Gabor滤波器方向以及频率参数，提取了人脸特征，共得到的40组Gabor信号，特征构建矩阵G5×8=[G0,…,Gi,…,G7]。

(3) 对Gi进行求模，得到S=[‖G0‖,…,‖Gi‖,…,‖G7‖]。

(4) 根据式(7)计算人脸库第i个图像的轮廓值：

(7)

(6) 构建人脸特征的协方差矩阵，并计算该人脸与训练样本集平均值的差，构建协方差矩阵C=AAT/c，其中A=(d0,…,di,…,dN-1)，并正交归一化特征向量vi。

(7) 按式(8)计算特征值的贡献率：

(8)

式中，p为有效的特征值个数。

(9) 按式(8)计算重建人脸图像特征。

(9)

(10) 采用最支持向量机对重建人脸图像进行识别。

1.4人脸图像分类器设计

支持向量机分类目标就是在满足所有约束制条件下，寻找一个最优分类超平面，把全部数据点分开，且尽可能使点与超平面之间的距离最远，见图3[12]所示。

图3　最优分类平面图

给定数据集{xi,yi}，xi∈Rn，i=1,2,…,n，xi表示提取人脸图像特征；yi表示人脸图像的类级别。根据风险最小化的原理，SVM的最优该超平面表示为：

y=ωTΦ(x)+b

(10)

式中，ω为权向量；b为偏移向量。

对于一个线性不可分问题，直接采用SVM对其进行求解比较困难，通过引入非负的松弛因子将其转变成二次优化问题，即有：

(11)

式中，ξi第i个样本的训练误差；C为惩罚参数。

式(11)是一个典型的凸二次优化问题，因此通过引入Lagrange乘子可转化为其对偶问题式(12)来解决。

(12)

式中，αi表示Lagrange乘子。

对式(12)进行求解，可以得到αi的值，那么权向量(ω)可表示为：

ω=∑αiyiΦ(xi)·Φ(x)

(13)

这样SVM分类决策函数变为：

f(x)=sgn(αiyiΦ(xi)·Φ(x)+b)

(14)

在高维空间中直接点积运算比较困难，利用核函数代替点积Φ(xi)·Φ(xj)，人脸图像的分类函数转化成为：

f(x)=sgn(αiyik(x,xi)+b)

(15)

2　仿真试验

2.1仿真环境

为了检Gabor-PCA算法的人脸重建和识别性能，在Intel双核2.8GBCPU、4GB内存，WindowsXP平台上，采用Matlab2012编程实现仿真实验，采用多个人脸图像检验算法鲁棒性和通用性。

2.2结果与分析

图4(a)为待重建的原始图像，图4(a)-(c)为重建的人脸图像，对图4(b)-(d)进行分析，可以得到如下结论：

(1) 图4(b)表示PCA算法的人脸图像重建结果。从图4(b)可以清楚看出，由于没有经过Gabor算法选择训练集，直接采用PCA选择特征，重建人脸图像完全被噪声淹没。

(2) 图4(c)为Gabor算法的人脸图像重建结果。从图4(c)可以看出，由于经过训练样本的筛选，构建的训练样本集在轮廓上大致符合长发、面孔居于图像中上位置情况息，得到的重建人脸图像视觉上和原始人脸有一定的相似性，但是由于没有经过PCA进行降低处理，部分重建人脸有陷入局部最大化缺陷。

(3) 图4(d)为Gabor-PCA重建人脸图像。从视觉上看，人脸面部信息完整、清晰，和原始图像没有太大差别，只是包含少量噪声。实验结果表明，采用Gabor-PCA算法对人脸图像样本集的选择是合理。

图4　不同处落地的重建人脸效果对比

2.3迭代次数对人脸重建效果的影响

为了测试迭代次数对于Gabor-PCA算法性能影响，选择图5(a)作为待重建原始图像(眼镜遮挡)，不同迭代次数重建的人脸图像如图5(b)-(d)所示。对结果进行分析可得，经过一次迭代后，重建后的人脸图像视觉效果还比较差，经过10次迭代后，图像细节信息比较清楚，视觉效果比好，很好地达到了“遮挡物清除”的目的，可以满足人脸图像重建的实时性应用需求。

图5　迭代次数对Gabor-PCA性能的影响

2.4算法的鲁棒性测试

为了测试Gabor-PCA的鲁棒性，选取几个典型的遮挡人脸进行实验，图6分为“胡须”、“眼镜”、“耳坠”、“侧脸””以及“长头发”遮挡人脸。图7为Gabor-PCA重建后的人脸图像，从图7可以看出，Gabor-PCA可以较好地去掉人脸中遮挡区域，重建的人脸图像视觉效果相当好，最终达到清除人脸遮挡物的目的。

图6　遮挡人脸

图7　Gabor-PCA的重建建

2.5人脸识别率比较

为了测试Gabor-PCA的优越性，选择PCA、Gabor、LPP算法进行对比实验，分类器均采用支持向量机进行构建。首先采用AR人脸库中的遮挡图像部分，共采用其中的80人560张测试图像，1张正常图像，3张墨镜图像，3张围巾图像，如图8所示。以无遮挡人脸图像为基准图像进行识别。

图8　AR人脸库

所有算法的AR人脸库的识别率和误识率如图9所示，其中，识别率是指能够正确识别出遮挡人脸的身份信息，误识率是指识别出遮挡区域，但人脸身份识别错误，其余则为拒绝识别。

图9　不同算法在AR库上的识别率和误识率

为了测试算法的通用性，采用自行采集的人脸扩大测试，共43人，387张图像，分为两组进行测试，图像均为正向，面部区域大小以AR库的大小为准，去除背景信息，其中A组为自然遮挡物体组，即围巾，帽子，眼镜。如图10所示。不同处落地的识别率和误识率为如图11所示。

图10　扩展遮挡人脸A

图11　不同算法在扩展遮挡人脸A上的识别率和误识率

B组为故意遮挡物体组，包括书籍遮挡和恶意图像修改，如图12所示。对于B组，不同算法的人脸图像识别率和误识率如图13所示。

图12　扩展遮挡人脸B

图13　不同算法在扩展遮挡人脸B的识别率和误识率

3　结　语

为了提高遮挡人脸识别的效果，提出一种基于Gabor-PCA的人脸遮挡区域重建算法。仿真实验结果表明，本文算法能够较好地重建遮挡人脸区域，与同类遮挡识别算法相比，本文算法获得了更高的人脸识别率，有效降低人脸的误识率，具有更广泛的应用范围。

[1]ParkJS,OhYH,AhnSC,etal.Glassesremovalfromfacialimageusingrecursiveerrorcompensation[J].IEEETransonPatternAnalysisandMachineIntelligence,2005,27(5):805-811.

[2] 王志明,陶建华.人脸遮挡区域检测与重建[J].计算机研究与发展,2010,47(1):16-22.

[3] 苏煜,山世光,陈熙霖,等.基于全局和局部特征集成的人脸识别[J].软件学报,2010,21(8):1849-1862.

[4] 田玉敏,云艳娥,马天骏.判别近邻保持嵌入人脸识别[J].西安电子科技大学学报,2011,38(3):24-28.

[5]RoweisST,SaulLK.Nonlineardimensionalityreductionbylocallylinearembedding[J].Science,2000,290(22):2323-2326.

[6]BartlettMS,MovellanJR,SejnowskiTJ.Facerecognitionbyindependentcomponentanalysis[J].IEEETransactionsonNeuralNetworks,2002,13(6):1450-1464.

[7]WrightJ,YangY,GaneshA,etal.Robustfacerecognitionviasparserepresentation[J].patternanalysisandmachineintelligence,2009,31(2):10-227.

[8]OjalaT,PietikainenM,MaenpaaM.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwidthlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.

[9]WuCY,LiuC,ShunHY.Automaticeyeglassesremovalfromfaceimages[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2004,26(30):322-336.

[10]VishwakarmaVP,PandeyS,GuptaMN.AnilluminationinvariantaccuratefacerecognitionwithdownscalingofDCTcoefficients[J].JournalofComputingandInformationTechnology,2010,18(1):53-67.

[11]YangM,ZhangL.GaborfeaturebasedsparserepresentationforfacerecognitionwithGaborocclusiondictionary[M].ComputerVision-ECCV2010.SpringerBerlinHeidelb-erg,2010:448-461.

[12]HuangCL,WangCJ.AGA-basedfeatureselectionandparametersoptimizationforsupportvectormachines[J].ExpertSystemswithApplications,2011,31(2):231-240.

GABOR-PCABASEDRECONSTRUCTIONALGORITHMOFOCCLUDEDFACEREGION

HuangXiaoping

(Nanning University,Nanning 530200,Guangxi,China)

Aimingattheoccludedfacereconstructionandrecognitionproblem,weproposedaGaborandPCAfusion-basedreconstructionalgorithmforoccludedregionofface.First,byconstructingGaborhistograminformationclassifierwithfivedimensionalitiesandeightdirectionsweselectedtheimagesfromdatabasewhichhavetheGaborhistograminformationmuchclosetothecoarseinformationsuchastheoutlineoftheprimitivefaceimagestobereconstructedtoformtrainingsampleset,andthenadoptedPCAtodecomposesingularvalueandtoreconstructcovariancematrixaswellastoprojecttofromthereconstructedimage,andfinallythesimulationexperimentwascarriedout.Resultsshowedthattheproposedalgorithmcouldobtainsmoothandnaturalreconstructedfaceimages,andhadstrongeradaptability.

FacereconstructionTrainingsamplePrincipalcomponentanalysis(PCA)Occludingface

2014-07-01。2012广西高校特色专业及课程一体化建设项目(GXTSZY305)。黄孝平，高工，主研领域：人脸识别，智能控制，嵌入式系统应用。

TP391.4

ADOI:10.3969/j.issn.1000-386x.2016.03.048