梅蓉

（南京森林警察学院侦查系,江苏南京210023）

基于特征融合的人脸图像识别方法研究

梅蓉

（南京森林警察学院侦查系,江苏南京210023）

为了提高人脸识别率,研究了一种基于边缘二值图像特征向量提取的方法.通过局部二值模式提取特征向量,考虑到边缘二值图像特征向量与局部二值模式提取的特征向量的区别,提出了将这两类特征向量通过PCA方法融合实现人脸识别的方法.实验结果表明基于两类特征向量融合的人脸识别方法可以有效地提高识别率.

人脸识别；边缘特征向量；局部二值模式；主成分分析

人脸识别研究虽然经过了几十年的发展,仍然方兴未艾,是模式识别、计算机视觉等领域研究的热点课题[1-2].随着人脸识别技术研究的深入和计算机运算能力的大幅度提高,人脸识别准确性和实时性得到了大大提高,人脸识别技术也逐渐从理论研究向应用研究发展.随着经济的发展和人口大流动,各种社会矛盾日益显露,社会治安面临着严峻挑战,公安部门承受着巨大压力.传统的侦查措施和手段已经不能完全适应新的犯罪形势的需要,公安人员需要借助高科技手段打击和预防犯罪.为了快速、准确打击和预防各类违法犯罪,公安部提出科技强警策略,公安视频监控系统普及就是其中举措之一,而视频监控系统中的自动识别技术如车牌照识别在公安工作中发挥着重要的作用.

人脸自动识别技术一直是很多领域研究的热点课题,由于光照条件、成像角度、人脸丰富的表情等,使得人脸自动识别技术成为具有挑战性的研究课题.虽然人脸识别技术在人脸特征提取、人脸检测方面取得了喜人的成果,但在复杂情况下的人脸自动识别技术还没有取得突破的成果,因此就谈不上运用到公安和其它领域,这是目前甚至将来我们必须要攻克的难题,此项技术必然会在公共安全、军队、公安等领域发挥超乎想象的作用.

人脸识别的关键技术就是特征提取,特征提取的好坏直接影响人脸识别的效果.目前,国内外学者提出了很多人脸特征提取的方法,有线性特征提取和非线性特征提取两类,其中线性特征提取有PCA方法[3]、LDA方法[4]、ICA方法[5]、奇异值分解法[6]等；非线性特征提取有SIFT方法[7]、二维Gabor函数法[8]、DCT法[9]等.由于一种特征提取方法提取的特征具有局限性,不能充分体现人脸的全部特征,影响人脸识别的精度,因此又有学者提出将多个特征融合来弥补单一方法提取特征的不足,实验结果也表明了有利于识别,识别精度明显提高[10-11].

本文提出了一种基于局部二值模式的特征向量与边缘二值图像的特征向量的融合识别算法、局部二值模式主要侧重于人脸纹理信息的提取,而边缘二值图像的特征向量提取侧重于对人脸边缘信息的描述,将二者有机结合,可以更好地表现人脸特征,有利于人脸识别.

1 基于特征融合的人脸识别方法研究

1.1 子图像划分

将图像进行划分的方法很多,有基于人脸器官特征的划分、人脸局部区域的划分、人脸结构分布的划分等.人脸器官特征的划分是根据人脸的眼镜、鼻子、嘴巴等进行划分；人脸局部区域划分一般都是将图像划分为大小相等的若干个不重叠的区域；人脸结构分布的划分则是根据人脸器官分布规律进行划分,一般划分为大小不相等的区域.

假设测试样本图像大小为m×n,作如下分块,见图1.

图1 子图像的划分Fig.1 Division of sub-image

该分块方法是将图像分成了若干了大小逐增、呈金字塔状的若干子图像.若共获得子图像u个,假设第一级子图像为分布在最中间最小子图像,大小为（m/u）（n/u）.第二级图像为第一级图像外围环矩形,以此类推,可以获得u个大小不等的图像.如,ORL人脸数据库中一张图片可以划分为如下的4个子图像,见图2.

图2 一张人脸图片的子图像划分Fig.2 Division of sub-image of one face

1.2 基于局部二值模式的特征向量提取

为了减少运算量,降低维数,人为降低图像的分辨率,再将低分辨率图像进行局部二值模式（LBP）的特征向量提取[12].局部二值模式最早用来描述纹理特征,由于计算简单、灰度平移不变性等特点,得到了很多研究者的关注,已经被广泛运用于纹理特征提取、人脸检测、物体检测、图像识别等领域.局部二值模式的基本思想就是选取33窗口,将围绕中心的值与中心值相比较,得到8位0或者1组成的数码,再按照一定的顺序组成二进制码,将二进制码转换为十进码值即LBP值.LBP取值范围为[0,255],获取LBP直方图,可以统计出所有LBP值存在的数量,将这些数量形成1256维的特征向量.

1.3 基于边缘二值图像的特征向量提取

1.3.1 获取边缘二值图根据人眼对物体认识的规律,只要有物品轮廓,就能对物体进行比较准确地识别.同样地,对人脸进行识别也一样,通过获取人脸的边缘轮廓线,再提取特征进行识别.

获取边缘的算子很多,比较成熟的有Roberts边缘算子、Sobel边缘算子、Prewitt边缘算子、Laplacian边缘算子、Log边缘算子、Canny边缘算子等.Canny边缘算子虽然最为复杂,但目前是所有算子中最为优秀的,在许多图像处理领域得到广泛应用.该算子首先对要处理的图像进行平滑滤波,抑制图像噪声；其次采用一种非极值抑制的技术,细化平滑后的图像矩阵；最后通过双阈值递归寻找图像边缘点,实现边缘提取.该方法不仅能够找到强边缘而且还能够找到真正的弱边缘.通过该算子,可以很好地提取出人脸边缘.

1.3.2 特征向量的提取特征提取的好坏直接影响着识别的结果,因此特征提取至关重要.下面详细介绍由Canny边缘算子获得的人脸边缘二值图的特征向量提取方法.

由于获取的各个子图像均为二值图像,参照LBP算子理论,引出一个33模块,见图3.

图3 33模块Fig.3 33 Module

若二值图像中有一33小块图像如图4.

图4 二值图像中某一33图像区域Fig.4 One 3×3 image area of binary image

将33模块与33小块图像相运算,可得图5.

图5 运算结果Fig.5 Operation result

不考虑中心的数值,获取二进制码为00010101,转换为十进制数值为21.值得注意的是,每个二进码选取的顺序保持一致.

将子图像与3×3模块进行如上运算,可以获得0-255之间的任意数值的矩阵M.再计算矩阵M的直方图,横坐标为0～255,纵坐标为对应横坐标数值的个数,那么可以得到1256维的特征向量.由于共有u个子图像,那么最终可以得到人脸有1（256×u）维特征向量.其中,特征概率高的数值最为体现人脸显著特征,因此选取最大出现频率对应的横坐标值作为一个特征.那么可以获得人脸有1（257×u）维特征向量.

1.4 特征向量的融合

特征向量融合的算法很多,有基于CCA（典型相关分析）方法、有神经网络方法、有主成分分析（PCA）方法等.在已有的文献中,PCA方法更多地是运用在人脸特征向量提取方面,通过PCA方法获取特征脸空间,再将测试样本投影到特征脸空间进行识别.而在本文中,考虑到特征向量维数很大,PCA方法可以实现降维,抽取主要成分,所以采用该方法获取降维的融合特征向量.PCA思想如下：

假设二值模式的特征向量为w1,基于边缘二值图像的特征向量为w2,那么融合特征向量为W=（w1；w2）,计算W的协方差矩阵,可以获得该矩阵的特征值和特征向量,取前v个最大的特征值求解对应的特征向量,将这些特征向量组成投影矩阵X,将样本特征向量W做变换Y=XTW,得到降维的特征向量.

1.5 近邻方法分类判决

近邻方法分类判决是指按照最近距离原则对测试样本进行分类.

将测试图像样本提取特征向量,再进行特征融合,将融合的特征向量与训练图像样本的融合特征向量进行近邻运算,从而判断属于哪一类人脸图片.其中训练样本获得的融合特征向量为Yi,i表示第i个训练样本；测试样本获得的融合特征向量为γ.近邻方法分类见式（1）.

2 仿真与分析

为了验证文中所提算法的有效性和可行性,选用了Yale和ORL人脸数据库中的若干张图片作为训练样本和测试样本,在matlab7.0中进行仿真实验.Yale数据库共有165张图片,共有15个对象,每一对象有11张图片.在此数据库中随机抽取了每个对象7张图片作为训练样本,剩下的每个对象4张图片作为测试样本.ORL人脸数据库共有图片400张,共有40个对象,每一对象有10张图片.在此数据库中随机抽取每一对象6张图片作为训练样本,剩下的每个对象4张图片作为测试样本,具体实验步骤如下.

（1）为了消除光照对人脸识别的影响,将所有样本进行直方图均衡化处理（见图6）；

图6 ORL数据库中部分图片的直方图均衡化处理Fig.6 Histogram equalization processing of part of the picture in ORL database

（2）将所有样本进行二维bior小波分解,小波一次分解的过程就是去除高频部分,主要显示低频部分信息,小波二次分解就是在一次分解的基础上再进行分解,获取更为低频的信息.实验显示,一次分解的效果比较好,分辨率大概为原来的,二次分解分辨率很低,视觉效果来说并不是很佳.因此只实现一次分解获取低分辨率的图片.对低分辨率图片提取局部二值模式的特征向量.

（3）将经过直方图均衡化处理过的图像通过canny算子获取二值边缘图像（见图7）,再按照上文所提出的子图像分块的方法,将所有样本分为4块,根据上文给出的算法,提取边缘二值图像的特征向量；

图7 ORL数据库中部分图片的二值图像Fig.7 Binary image of part of the picture in ORL database

（4）将提取到的两类特征向量通过PCA方法融合；选取前v个特征值,v的取值按照前v个特征值和与整个特征值和比例为80%以上.

（5）将同类型的训练样本特征向量取均值,再通过近邻方法分类判断得出结果.通过仿真实验,得出Yale和ORL人脸数据库识别率见表1.

表1 Yale和ORL人脸数据库识别率Tab.1 Recognition rate in Yale and ORL face database%

由表1可知,采用局部二值模式的特征向量进行分类,识别效果没有利用边缘二值图像的特征向量进行分类效果好.因此,人脸轮廓特征在识别效果上要好于人脸纹理特征.将两类特征向量融合进行分类判断,发现识别效果比利用任何一类特征向量识别效果好.由此可以得出结论,特征向量的选取对识别结果具有重要作用.

3 小结

考虑到人脸轮廓和纹理特征对识别的重要性,提出了一种基于边缘二值图像特征向量提取方法,并在此基础上将局部二值模式特征向量和边缘二值图像特征向量融合来提高识别率.选用ORL和Yale人脸数据库中所有样本,通过matlab仿真验证,实验结果也表明了算法的有效性,对实际人脸识别应用提供了参考.算法存在的不足就是侧重于局部特征的提取,并没有充分考虑全局特征的提取情况.但本文将不同局部特征进行融合,弥补了对全局信息欠利用,得到了比较理想的识别结果.

[1]Turk M,Pentand A.Eigenfaces for recognition[J].Journal of cognitive neuroscience,1991,3（1）：71-86.

[2]朱玉莲,陈松灿.特征采样和特征融合的子图像人脸识别方法[J].软件学报,2012,23（12）：3209-3220.

[3]Wang Y,Wu Y.Face recognition using intrinsicfaces[J].Pattern Recognition,2010,43（1）：3580-3590.

[4]Jelsovka D,Hudec R,Breznan M.Face recognition on FERET face database using LDA and CCA methods[J].IEEE Conference publications,2011,34：570-574.

[5]Lei J J,Lu C,Pan Z K.Enhancement of components in ICA for face recognition[J].IEEE Conference publications,2011,6：33-38.

[6]Cheng Y Q,Liu K,Yang J Y.A novel feature extraction method for image recognition based on similar discriminant function[J]. Pattern Recognition,1993,26（1）：116-125.

[7]Lowe D G.Distinctive image feature from scale-invariant keypoints[J].International journal of computer vision,2004,60（2）：91-110.

[8]戚大方,吴成东.基于Gabor小波变换与支持向量机的人脸识别[J].科技信息,2009（35）：31-32.

[9]尹洪涛,付平,沙学军.基于DCT和线性判别分析的人脸识别[J].电子学报,2009,37（10）：2211-2214.

[10]鲁鹏,陈毅松,陈文广.基于级联的多特征融合人脸检测算法[J].计算机工程,2011,37（2）：7-9.

[11]舒畅,丁晓青,方驰.多特征局部与全局融合的人脸识别方法[J].计算机工程,2011,37（19）：145-147,156.

[12]戴金波,肖宵,赵宏伟.基于低分辨率局部二值模式的人脸识别[J].吉林大学学报：工学版,2013,43（2）：435-438.

（责任编辑：卢奇）

Study of face recognition method based on feature fusion

Mei Rong
（Criminal Investigation Department,Nanjing Forest Police College,Nanjing 210023,China）

To improve the face recognition rate,a feature vector extraction method has been studied based on edge binary image.The feature vector has been extracted by local binary model and the method of face recognition by fusion of PCA for the two kinds of feature vectors has been proposed taking into account the difference between edge binary feature vector and partial binary feature vector.The experimental results showed that the face recognition method based on the fusion of two kinds of feature vectors can effectively improve the recognition rate.

face recognition；edge feature vector；partial binary model；PCA

TP301.6

A

1008-7516（2014）04-0070-05

10.3969/j.issn.1008-7516.2014.04.017

2014-04-22

中央高校基本科研业务费专项资金资助项目（LGZD201325）

梅蓉（1978-）,女,江苏海安人,博士,副教授.主要从事模式识别与保密通信研究.