杨利平,李 武

(重庆大学光电技术及系统教育部重点实验室，重庆 400044)



光照健壮人脸识别的低秩相对梯度直方图特征

杨利平,李 武

(重庆大学光电技术及系统教育部重点实验室，重庆 400044)

为了进一步提升人脸梯度特征的光照健壮性，本文结合低秩分解能有效分离图像本质特征和噪声的特性，提出了一种光照健壮的低秩相对梯度直方图特征提取方法.首先，通过对人脸图像进行相对梯度运算获得了图像的相对梯度幅值图像和各像素的梯度方向信息.然后，为了去除相对梯度图像中由于非均匀光照而引入的光照边缘误差，利用低秩分解将相对梯度图像分解为低秩分量和稀疏噪声分量之和.最后，结合人脸图像的梯度方向信息对相对梯度图像的低秩分量进行离散化、滤波和局部二值模式编码形成了人脸的低秩相对梯度直方图特征.在经典的FERET子集以及具有代表性的YaleB和PIE光照子集上的实验显示：低秩相对梯度直方图特征的人脸识别性能显著优于相对梯度直方图特征、方向梯度幅值模式特征和图像低秩特征等方法的性能；在YaleB子集上，低秩相对梯度直方图特征的人脸识别精度比相对梯度直方图特征的人脸识别精度高至少4%.实验结果证明，低秩相对梯度直方图特征对光照变化，尤其是非均匀光照变化的人脸识别具有很强的健壮性.

人脸识别;低秩分解;相对梯度;光照健壮性

电子学报URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2016.08.024

1 引言

自主成分分析方法(Principal Component Analysis,PCA)[1]应用到人脸识别中以来，经过二十多年的发展，人脸识别的特征提取理论得到极大丰富.经典的子空间分析方法[2,3]以及稀疏表示[4,5]、字典学习[6]等方法相继被用来解决人脸识别的难题并取得了一定的效果.目前，理想条件下的人脸识别问题已经得到了很好的解决并在特定领域的产品中得以应用.然而，受光照、表情、遮挡、年龄、姿态、图像质量等因素的影响，非理想条件下的人脸识别技术还远未成熟，仍是当前计算机视觉和模式识别领域的热点与难点问题[7].光照变化对人脸图像的灰度值影响显著，是当前基于像素的人脸图像特征提取方法面临的关键难点.提取对光照具有良好健壮性的人脸图像特征是人脸识别亟待解决的问题.

人脸图像的特征提取是人脸识别的关键步骤.对于非理想条件下的人脸识别而言，一种好的特征应能够充分表征个体与个体之间的本质差别，即在保留个体本质特征的前提下，能够在最小化由光照、姿态、图像质量等外部条件变化带来影响的同时最大化不同个体之间的差异.换言之，好的特征应具有足够的鉴别能力和对环境条件的健壮性.为了获得具有足够鉴别能力的健壮性特征，近年来研究者们主要从以下两个方面着手开展工作：一是结合稀疏表示、字典学习和低秩分解[8]等理论设计具有环境健壮性的鉴别特征提取方法[9,10]；二是通过一定的变换将图像的像素特征转换为一些低级视觉特征，进而获取图像特征的健壮性描述[11～14].

文献[9,10]假设同一个体多幅图像的本质特征在同一低秩子空间中，并利用低秩分解将人脸图像分解为具有低秩特性的“干净”人脸和具有稀疏特性的误差图像之和.文献[9]将低秩分解和稀疏表示融合起来，在得到人脸图像低秩分解的低秩部分和稀疏误差后，利用低秩部分构建了子空间，并将图像投影到该低秩子空间后通过稀疏分类完成识别.低秩分解的引入使该方法对图像的噪声具有一定健壮性，但由于直接将样本向低秩子空间进行投影，可能导致投影后特征中的噪声无法完全消除.文献[10]则将低秩分解和字典学习结合起来，利用人脸图像的低秩部分构建样本字典，稀疏部分构建噪声字典；然后分别利用噪声字典和样本字典实现对图像的误差消除和识别.该方法巧妙的利用了图像低秩分解后获得的低秩本质特征和稀疏误差成分，使得到的图像特征具有较强的环境健壮性.然而，由于稀疏误差的随机性较大，利用噪声字典的线性组合来表示任意图像的稀疏误差存在一定的不足.

另一大类方法专注于健壮的视觉特征描述方法的研究.该类方法的典型代表为基于Gabor特征和局部二值模式(Local Binary Pattern,LBP)的人脸特征提取方法.模拟人类简单细胞感受野的Gabor特征能获得对人脸图像不同朝向和不同尺度的描述，是最成功的人脸特征描述方法之一[11].但Gabor特征的获得需要将图像与一组不同方向不同尺度的Gabor核进行卷积，计算量庞大，限制了其应用范围.局部二值模式特征在刻画图像纹理细节特征方面具有优势，且对于图像的整体光照变化具有一定的健壮性[12].但当图像受到严重的非均匀光照影响时，LBP特征将失效.近几年，为了提高特征的健壮性，Vu等利用图像的梯度信息代替像素信息提出了方向边缘幅值模式(Patterns of Oriented Edge Magnitudes,POEM)特征[13].该特征将图像梯度幅值按梯度方向进行离散化，然后分别计算离散化后各梯度图像的LBP直方图特征.经过前期的研究，我们发现，在光照变化剧烈，尤其是图像受非均匀光照影响时，POEM无法获得足够的特征描述信息，导致其对光照变化的健壮性较差.为了减轻光照对POEM特征的影响，文献[14]提出了相对梯度直方图特征(Relative Gradient Histogram Features,RGHF)描述方法.该方法用人脸图像的相对梯度信息代替了梯度信息，使特征对光照的健壮性显著增强.但是，当人脸图像受非均匀光照变化影响时，RGHF特征的相对梯度信息仍含有大量噪声信息.

为了进一步提升特征的光照健壮性，本文在相对梯度直方图特征描述方法的基础上，结合低秩分解能有效分离图像本质特征和稀疏误差的特点，提出了人脸图像的低秩相对梯度直方图特征(Low-Rank Relative Gradient Histogram Features,LR-RGHF)描述方法.该方法对人脸的相对梯度图像进行低秩分解，获得了对光照具有很强健壮性的低秩相对梯度图像，然后结合RGHF对梯度图像的处理策略，对低秩相对梯度图像进行了离散化、滤波和LBP编码处理，形成了具有光照健壮性的LR-RGHF特征.在FERET、YaleB和PIE子集上的实验证实了LR-RGHF相比于RGHF、POEM以及直接对图像像素进行低秩分解得到的低秩特征具有更强的光照健壮性.

2 低秩相对梯度直方图特征

2.1 人脸的低秩相对梯度图像

成像设备对人脸的成像是一个相对复杂的过程.如图1(a)所示，受光照条件变化的影响，人脸图像的像素值会发生明显改变.根据朗伯光照模型，人脸图像某点的像素值可表示为其反射分量和光照分量的乘积，即：

I(x,y)=L(x,y)R(x,y)

(1)

其中，I(x,y)表示图像(x,y)点处的像素值，R(x,y)和L(x,y)分别为对应的反射分量和光照分量.通常认为反射分量描述的是人脸表面的纹理信息，与光照无关，反映了人脸的本质特征；光照分量则表征了图像受到的光照影响.

为了获得对光照具有健壮性的人脸特征，一方面，研究者假设人脸的光照分量是缓慢变化的，并基于此给出了人脸的光照不变特征提取方法[15,16]；另一方面，研究者认为多幅人脸图像的本质特征在同一低秩空间中，并尝试利用矩阵的低秩分解分离图像特征和光照噪声[8].上述研究已经证实，人脸图像的相对梯度特征和低秩分解特征都对光照具有一定的健壮性[8,15].如图1(b)和图1(c)分别为对图1(a)中四幅人脸图像进行低秩分解后得到的图像低秩分量和光照噪声，图1(e)为图1(a)中四幅人脸图像的相对梯度图像.对比图1(b)、图1(c)和图1(a)可以看出，直接对不同光照图像进行低秩分解后，低秩分量消除了部分光照的影响，但对非均匀光照的去除效果较差；同时，光照噪声分量中仍含有较多的面部特征信息.对比图1(e)和原始图像的梯度图像(图1(d))可以看出，虽然相对梯度图像更加突出了人脸的面部细节，但当原始图像受到非均匀光照影响时，梯度图像和相对梯度图像中存在明显的光照边缘误差.

本文进一步对图像的相对梯度进行低秩分解，获得了更具光照健壮性的人脸低秩相对梯度图像.设Ir(x,y)为人脸图像I的相对梯度图像在(x,y)点处的值，则有：

(2)

其中，

(3)

为I(x,y)的梯度幅值，

(4)

为(x,y)处的梯度方向.为了对相对梯度图像Ir进行低秩分解，需获得低秩投影矩阵P.

设有k幅图像的数据集G=[gr1,gr2,…,grk]，其中，gri∈Rl(i=1,2,…,k)为由人脸的相对梯度图像各列首尾相接后形成的l维列向量.低秩分解的目标为求解以下最小化问题：

(5)

(6)

(7)

根据增广拉格朗日乘子法求得数据集G的低秩分量L和稀疏误差分量E后，为了获得对新样本的低秩投影矩阵P，我们仿照文献[18]构建如下目标函数：

minrank(P), s.t. L=PG

(8)

其中，对矩阵P的低秩约束保证了新样本投影后也具备低秩特性.式(8)仍是一个非凸优化问题，可将其转化为如下新的目标函数：

(9)

根据文献[18]可知，式(9)中低秩投影矩阵P的唯一最小解为：

P=LG+

(10)

其中，G+为G的伪逆，可以通过对G的奇异值分解求得.这样，对于任一人脸相对梯度图像Ir，设其按列首尾相接的列向量为gr，则其低秩分量为：

gl=Pgr

(11)

稀疏误差分量为：

el=gr-gl

(12)

图1(f)和(g)分别为图1(e)的相对梯度图像进行低秩分解后得到的低秩相对梯度图像和对应的稀疏噪声误差.从图1(f)可以看出，人脸的低秩相对梯度图像可以很好地凸显人脸细节特征，且对于光照变化，尤其是非均匀光照，表现出很强的健壮性.

2.2 低秩相对梯度直方图特征

为了有效降低特征的维度并避免低秩相对梯度图像中零元素对人脸识别的影响，我们借鉴文献[11]对梯度图像的处理方法提取人脸图像的低秩相对梯度直方图特征，并利用该特征实现光照健壮的人脸识别，图2所示为特征提取的具体流程.

对于任给的一幅人脸图像I，首先计算出其相对梯度图像Ir并利用2.1节中获得的投影矩阵P进行低秩投影求出低秩分量gl，将gl还原为图像即为低秩相对梯度图像(设为Ilr).

紧接着，按照2.1节给出的梯度方向θ(x,y)对Ilr的每个位置的值进行离散化处理.与文献[13]类似，将Ilr中所有像素的梯度方向θ(x,y)进行等间隔无符号的离散化(设共有m个离散化方向)，并以每个像素的梯度方向到与其相邻的两个离散化方向夹角的比值为权重，将Ilr中对应位置的值分配到各不同的离散化方向上.

与文献[14]一样，我们对m个方向上的分量分别进行高斯滤波，然后利用局部二值模式对分解得到的m个分量分别进行编码，形成LBP直方图特征Hi(i=1,2,…,m).需要说明的是，在计算每个分量的LBP直方图特征时，该分量又被分为n×n个块并利用均匀模式LBP提取每个分块的59维直方图特征.这样，每个分量可用n×n个59维的向量首尾相接得到其直方图特征Hi.将所有m个分量的特征串联起来形成了最终的人脸低秩相对梯度直方图特征H，即：

H={H1,H2,…,Hm}

(13)

为了降低特征维度，减小特征的冗余性，我们采用白化主成分分析(Whitened PCA,WPCA)对低秩相对梯度直方图特征进行了维数约简.

3 实验与分析

为了验证本文提出的LR-RGHF特征的人脸识别性能及其对光照变化的健壮性，本节将在FERET、YaleB和PIE人脸库上进行对比实验，比较LR-RGHF与文献[9]提出的人脸低秩特征、文献[14]提出的RGHF特征以及文献[13]提出的POEM特征的人脸识别性能.为了充分发挥各自特征的分类性能，利用余弦距离对LR-RGHF、RGHF和POEM特征进行分类，而利用稀疏表示分类(Sparse Representation Classification,SRC)对文献[9]的低秩特征进行分类(记该方法为LR+SRC).

3.1 实验数据集介绍

FERET人脸库共包含1199人的14051幅人脸图像.在本实验中，我们选择229人的共1131幅图像构成了实验图像子集.子集中的图像包括一定的表情、光照和姿态变化，根据其面部特征坐标信息处理为128×128像素大小.图3(a)为处理后的FERET子集图像示例.

YaleB人脸库由来自38人的64种不同光照和9种姿态的22230幅图像组成.在本实验中，为了验证本文所提方法对光照变化的健壮性，我们选择了38人的64种不同光照正面图像构成共2414幅图像的子集进行实验.子集中所有的图像均处理为168×192像素大小.图3(b)为处理后的YaleB子集图像示例.

PIE人脸库包含有68人的不同姿态、光照和表情的41638幅图像.在本实验中，我们选择了68人的21幅相同表情不同光照的正面图像构成共1425幅图像的实验子集.子集中所有图像均处理为128×128像素大小.图3(c)为处理后的PIE子集图像示例.

由2.1节知，在提取LR-RGHF特征和图像的低秩特征时，需要首先构造数据集G用于学习低秩投影矩阵P.为此，在FERET子集上实验时，随机选择了每人3幅图像，共687幅图像构成了数据集G；在YaleB子集上实验时，随机选择了每人7幅图像，共266幅图像构成了数据集G；在PIE子集上实验时，随机选择了每人3幅图像，共204幅图像构成数据集G.

3.2 LR-RGHF特征参数设置实验

由2.2节的分析可知，LR-RGHF特征的维度与离散化数目m和分块数目n有关.特征维度的变化会直接影响其人脸识别精度.为此，我们从YaleB子集中随机选择每人7幅图像构成有266个样本的训练集，剩余2148幅图像作为测试集进行人脸识别实验.

实验时，分别取离散化数目m=2～8；分块数目n=1～14，逐一测试了离散化数目m和分块数目n为不同取值时的识别精度.图4给出了识别精度随着离散化数目m和分块数目n的变化趋势.

从图中可以看出，随着分块数目n的增加，识别精度总体上呈增长趋势；当n≥7以后，识别精度随分块数目n的增长趋势变缓；同时，识别精度趋势变缓后，随着离散化数目m的增加，识别精度先增大后减小；当m=3时，识别精度达到最佳值.因此，综合考虑特征维度和算法的识别性能，在后续对YaleB子集的实验中，取m=3，n=14.

由于FERET、PIE子集的图像大小小于YaleB子集的图像大小，为了保证对图像分块后每个小块的大小相当，在后续对FERET、PIE子集的实验中，我们根据经验取m=3，n=7.

3.3 人脸识别实验与结果分析

为了评估LR-RGHF特征的人脸识别性能及其光照健壮性，我们分别在选出的具有代表性的FERET、YaleB和PIE光照子集上对比了LR-RGHF、RGHF、POEM和LR+SCR等四种方法的识别性能.

在每个子集上，随机选择不同数量的个体样本作为训练样本，剩余的其他样本作为测试样本进行实验，每种方法的识别结果都是10次独立实验的平均结果.表1、表2和表3分别给出了FERET、YaleB和PIE子集上，不同训练样本数目时每种方法的最佳识别精度比较.

分析表1、表2和表3的实验结果可以看出：

(1)随着训练样本数的增加，LR-RGHF、RGHF、POEM和LR+SRC四种方法的识别精度都显著提高.

(2)大多数情况下，相同训练集上，LR-RGHF、RGHF、POEM等三种基于图像梯度特征方法的识别性能要显著优于直接对图像进行低秩分解的LR+SRC方法，这说明了梯度特征相比于像素特征对光照变化具有更好的健壮性.另外，在PIE子集上，随着训练样本数的增加，LR+SRC方法的识别精度逐渐赶上并超过了RGHF和POEM，说明图像的低秩分解能够有效的获取对光照具有健壮性的人脸本质特征.

表1 FERET子集上四种方法的最佳识别精度(%)

表2 YaleB子集上四种方法的最佳识别精度(%)

表3 PIE子集上四种方法的最佳识别精度(%)

(3)相比于文献[9]中给出的实验结果，本文中LR+SRC的识别精度略低，这是由于在学习低秩投影矩阵P时我们选择的数据样本远少于文献[9]的数据样本数而造成的.LR+SRC方法需要在大量数据的基础上才能取得令人满意的结果，这也是该方法的不足之处.

(4)相比于RGHF、POEM和LR+SRC，本文提出的LR-RGHF特征提取方法的识别精度显著优于其他三种方法；在经典的FERET子集上，LR-RGHF特征的人脸识别性能明显优于其它三种方法；在含有非均匀光照变化的YaleB子集上，LR-RGHF表现出了很好的识别性能，这证实了LR-RGHF对光照变化，尤其是非均匀光照变化具有很强的健壮性.

(5)与RGHF、POEM和LR+SRC中性能最好的RGHF相比，在YaleB子集上LR-RGHF比RGHF的识别精度至少高4%；在PIE子集上，训练样本数为1时，LR-RGHF比RGHF的识别精度高15%，随着训练样本数的增加LR-RGHF和RGHF的识别性能差别逐渐减小.这再次说明，提取人脸图像的相对梯度特征并进行合理的特征描述是解决人脸识别光照问题的可行方法.

4 结论

本文在分析受光照影响人脸图像及其梯度图像的特点的基础上，结合低秩分解可以有效分离图像的本质特征和稀疏噪声的特点，提出了人脸识别的低秩相对梯度直方图特征提取方法.该方法创新性地将人脸相对梯度图像分解为其低秩分量和稀疏噪声分量，并发现其低秩分量能够凸显人脸的本质特征且对光照变化具有很强的健壮性.基于这一认识，进一步结合梯度方向信息对低秩相对梯度图像进行了离散化、滤波和LBP编码，形成了低秩相对梯度直方图特征.在经典的FERET子集以及具有代表性的YaleB和PIE光照变化子集上的人脸识别实验结果显示：LR-RGHF的识别性能显著优于RGHF、POEM和LR+SRC等三种方法的识别性能；在光照变化剧烈且含有非均匀光照的YaleB子集上，LR-RGHF的识别精度比RGHF的识别精度至少高4%.实验结果证明了本文提出的低秩相对梯度直方图特征对人脸图像的光照变化，尤其是非均匀光照变化，具有很强的健壮性.

[1]Turk M,Pentland A.Eigenfaces for recognition[J].J Cognitive Neuroscience,1991,3(1):71-86.

[2]尹洪涛,付平,沙学军.基于DCT和线性判别分析的人脸识别[J].电子学报,2009,37(10):2211-2214.

Yin H T,Fu P,Sha X J.Face recognition based on DCT and LDA[J].Acta Electronica Sinica,2009,37(10):2211-2214.(in Chinese)

[3]杨利平,辜小花,叶洪伟.用于分类的样本保局鉴别分析方法[J].光学精密工程,2011,19(9):2205-2213.

Yang L P,Gu X H,Ye H W.Sample locality preserving discriminant analysis for classification[J].Opt Precision Eng,2011,19(9):2205-2213.(in Chinese)

[4]Wright J,Yang A Y,Ganesh A,et al..Robust face recognition via sparse representation[J].IEEE Trans Pattern Anal Mach Intell,2009,31(2):210-227.

[5]胡正平,李静.基于低秩子空间恢复的联合稀疏表示人脸识别算法[J].电子学报,2013,41(5):987-991.

Hu Z P,Li J.Face recognition of joint sparse representation based on low-rank subspace recovery[J].Acta Electronica Sinica,2013,41(5):987-991.(in Chinese)

[6]Wright J,Ma Y,Mairal J,et al..Sparse representation for computer vision and pattern recognition[J].Proceedings of the IEEE,2010,98(6):1031-1044.

[7]Lei Z,Pietikainen M,Li S Z.Learning discriminant face descriptor[J].IEEE Trans Pattern Anal Mach Intell,2014,36(2):289-302.

[8]Candes E,Li X D,Ma Y,et al..Robust principal component analysis?[J].Journal of the ACM,2011,58(3):1101-1137.

[9]Wei C P,Chen C F,Wang Y F.Robust face recognition with structurally incoherent low-rank matrix decomposition[J].IEEE Trans Image Process.2014,23(8):3294-3307.

[10]Quach K G,Duong C N,Bui T D.Sparse representation and low-rank approximation for robust face recognition[A].Borga M.International Conference on Pattern Recognition[C].Sweden:IEEE,2014.1330-1335.

[11]Pinto N,Cox D.High-throughput-derived biologically-inspired features for unconstrained face recognition[J].Image Vis Comput,2012,30:159-168.

[12]Ahonen T,Hadid A,Pietikainen M.Face description with local binary patterns:application to face recognition[J].IEEE Trans Pattern Anal Mach Intell,2006,28(12):2037-2041.

[13]Vu N S,Dee H M,Caplier A.Face recognition using the POEM descriptor[J].Pattern Recognit,2012,45:2478-2488.

[14]杨利平,辜小花.用于人脸识别的相对梯度直方图特征描述[J].光学精密工程,2014,22(1):152-159.

Yang L P,Gu X H.Relative gradient histogram features for face recognition[J].Opt Precision Eng,2014,22(1):152-159.(in Chinese)

[15]Zhang T P,Tang Y Y,Fang B,et al..Face recognition under varying illumination using gradientfaces[J].IEEE Trans Image Process,2009,18(11):2599-2606.

[16]辜小花.基于视觉感知和边缘保持的光照不变人脸识别[J].电子学报,2013,41(8):1500-1505.

Gu X H.Visual perception and edge preserving illumination invariant face recognition[J].Acta Electronica Sinica,2013,41(8):1500-1505.(in Chinese)

[17]Lin Z C,Chen M M,Ma Y.The augmented Lagrange multiplier method for exact recovery of corrupted low-rank matrices[R].USA:UILU-ENG-09-2214,2010.

[18]Jie C,Zhang Y.Sparse representation for face recognition by discriminative low-rank matrix recovery[J].J Vis Commun Image R,2014,25(5):763-773.

杨利平 男，1981年生于内蒙古鄂尔多斯.重庆大学光电工程学院副教授.研究方向为模式识别、图像复原、声音信号处理.

E-mail:yanglp@cqu.edu.cn

李 武 男，1989年生于四川成都.硕士研究生,研究方向为模式识别、图像处理.

Low-Rank Relative Gradient Histogram Features for Illumination-Robust Face Recognition

YANG Li-ping,LI Wu

(KeyLaboratoryofOptoelectronicTechnologyandSystems(ChongqingUniversity),MinistryofEducation,Chongqing400044,China)

To further enhance the illumination robustness of facial gradient features,an illumination robust low-rank relative gradient histogram feature extraction method (LR-RGHF) is proposed based on the property that low-rank decomposition can separate the intrinsic characteristic and sparse noise of an image effectively.In the first place,the relative gradient magnitude image and gradient direction information of each pixel is obtained by doing relative gradient operation on face image.In the next place,in order to remove the edge error caused by uneven illumination distribution,the relative gradient magnitude image is decomposed into its low-rank component and sparse noise component using low-rank decomposition.Finally,the low-rank component of relative gradient magnitude image is decomposed into several sub images according to its gradient direction information,each of the sub images is then filtered and encoded using local binary pattern to form the LR-RGHF.Experimental on the classical FERET subset and representative illumination subsets,YaleB and PIE subsets,illustrated that the recognition performance of LR-RGHF outperforms the recognition performances of relative gradient histogram feature (RGHF),patterns of oriented edge magnitudes (POEM) and low rank facial feature.On YaleB subset,the recognition accuracies of LR-RGHF are at least 4% higher than RGHF.Experimental results demonstrate that LR-RGHF reveals strong illumination robustness for face recognition,especially for uneven illumination distribution.

face recognition;low-rank decomposition;relative gradient;illumination robustness

2015-02-13;

2015-05-07；责任编辑：蓝红杰

中央高校基本科研业务费专项(No.106112015CDJXY120013)

TP391.4

A

0372-2112 (2016)08-1940-07