宋全有,李万高

(1.河南交通职业技术学院 交通信息工程系,郑州 450052;2.河南工程学院计算机学院,郑州 451191)



基于改进型深度LLE和随机森林的人脸检测算法*

宋全有1*,李万高2

(1.河南交通职业技术学院 交通信息工程系,郑州 450052;2.河南工程学院计算机学院,郑州 451191)

摘要:针对人脸检测问题的特点,提出一种基于改进型深度LLE(Locally Linear Embedding)算法和随机森林相结合的人脸检测算法。首先,通过采集图像的深度信息,结合图像的颜色信息,构建三维图像信息数据库,再通过改进的LLE算法得到最优降维结果,按一定比例选取训练集,输入随机森林算法建立数据分类器;最后,将测试集输入到训练完成的分类器中,实现人脸图像的检测。选取Yale,JAFFE 2类数据集与传统算法进行对比实验,验证算法的优越性和可行性。实验结果表明:所提出的算法可以有效地完成人脸检测,检测率高于传统算法7%左右。

关键词:人脸检测;局部线性嵌入;深度;降维;随机森林

近年来,人脸检测问题是模式识别领域较为热点问题。一些特定的算法与分类算法结合,可以有效地完成人脸检测问题,由于人脸图像属于高维数据,一般需进行特征提取,其代表算法有:主成分分析(PCA)[1],核主成分分析(KPCA)[2],梯度方向直方图(HOG)[3]等,这些算法的本质是提取人脸图像的特征向量,再输入到训练完成的分类器。数据分类算法有:支持向量机(SVM)[4],线性判别分析(LDA)[5],核线性判别分析(KLDA)[6]等,利用特征向量和分类器即可完成人脸检测。

针对数据流形问题,Roweis等人[7]提出局部线性嵌入(LLE)算法,利用流形降维的方式区别各类数据,郭峰等人[8]将LLE算法与SVM算法结合,提出使用数据流形降维,完成人脸的检测;王宪等[9]将KPCA算法和高斯核相结合,有效地解决人脸检测问题,而这些算法只是简单地处理二维平面人脸图像,并没有有效地使用三维立体信息,在背景复杂的环境下,往往检测率较低。

针对传统算法的缺点,提出一种基于改进型深度LLE和随机森林[10-11]相结合的人脸检测算法,将深度信息加入到传统图像的颜色信息中,扩展了人脸图像信息量,利用改进的LLE算法进行降维后,输入到随机森林进行分类。选取Yale数据集和JAFFE数据集验证算法在人脸检测中的可行性。

1　本文算法

Kinect的是由一个正常数码摄像头、一个CMOS红外传感器,一个红外线接收传感器组成。当Kinect开始运行后,3个摄像头同时采集数据流,中间的数码摄像头采集正常的彩色图片,两边的红外传感器采集彩色图片的深度值,我们利用颜色和深度信息,再结合改进型LLE算法提取人脸区域特征向量。

1.1Kinect深度图像采集

Kinect深度跟踪处理流程的核心是一个无论周围环境的光照条件如何,都可以让Kinect感知人体位置的CMOS红外传感器。该传感器通过黑白光谱的方式来感知环境:纯黑代表无穷远,纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点,并形成一幅代表周围环境的景深图像。传感器以30帧/s的速度生成景深图像流,从而有效地得到人脸图像像素点颜色数据和深度数据,并建立数据库。

1.2深度信息

一般的图像只具有颜色信息,属于二维平面图像,利用Kinect的深度摄像功能,可采取人脸图像的深度信息。设图像维数为,则任意一幅人脸图像向量可表示为

(1)

Kinect采集图像的深度信息从像素点出发,采集每个像素点距离摄像头的距离,则图像深度向量可表示为

(2)

将深度向量加入到颜色向量中,得到人脸的三维信息向量,结合式(1)、式(2),可得

(3)

其中,Wi表示三维信息向量,且维数为2n。

1.3LLE算法的改进

传统LLE算法[12-15]的邻近点选取没有统一的标准,一般根据样本数量的不同而改变,而邻近点的个数直接决定数据降维的结果。设(a1,a2,…,an)表示n类数据集,每类数据为n维,为了保证降维后的数据更具代表性,则必须保证类内离差最小,类间离差最大。

设ai,aj为任意2类数据集,降维后可表示为,

则类内离差Ti可表示为

(4)

计算类间离差时,需要知道同类数据分布的大致区域,选择区域中的某个数据点作为代表其余数据的代表点,当降维后的数据超过3维时,已经无法将其在坐标平面进行展现,以2维坐标平面为例,代表点选取如图1所示。

图1　代表点选取示意图

(5)

根据式(5)进行推演,n维空间下的代表点表示为

(6)

类间离差可表示为

(7)

其中,Di表示任意一类数据的代表点,根据式(4)、式(7),离差比ω可表示为

ω=Tc/Tl

(8)

由式(8)可以看出,类内离差Tl越小,类间离差Tc越大,则离差比ω越大,表示降维后的数据越具代表性,越理想。

当数据不变时,离差比ω由邻近点个数k所决定,则最优化邻近点个数可表示为

(9)

2　随机森林算法

决策树是随机森林算法的基本单元,决策树的构造是由一个随机向量所决定。随机森林算法的本质是组合多个弱分类器(决策树),使其分类误差减小的一种分类算法,一般采用二叉决策树作为基本模型,其模型如图2所示。

由于二叉决策树只能对数据进行2分类,针对多类数据需对二叉决策树进行节点多分叉,形成每个节点多次分叉的过程,从而构造了多叉决策树模型。

图2　随机森林模型图

随机森林的生成过程分以下4步:

Step 1(Bagging过程):假设每类训练集中有N个样本,有放回地随机抽取n个样本,作为一棵决策树的训练样本。

Step 2(分裂属性选择过程):假设特征向量是m维,选取m1维作为子集指定给每个节点,从m1中选择分类效果最佳的一维特征作为接点的分类属性,且保证在随机森林的生长过程中m1保持不变,采用信息熵作为判断节点分裂属性选择的依据,设数据集种类为m,任意一个数据集的分类概率为Pi,则信息熵表达式H(X)为

(10)

Step 3(决策树的生长过程):当每个节点的分类纯度达到期望比例或者生长层数达到给定值时,则停止决策树的生长,保证每个决策树都最大限度的生长,且没有剪枝情况。

Step 4(生成随机森林过程):重复Step 1～Step 3,生长出多颗决策树,从而生成森林。

从以上步骤可以看出,随机森林算法的误差更为稳定,克服了单一决策树的不足,体现了多个弱分类器合成强分类器的优势。

3　算法的实现

结合改进的LLE算法和随机森林算法,本文算法的实现分以下步骤

Step 1:利用Kinect采集人脸图像的颜色和深度信息,按照式(3),将其转化为三维信息向量,建立向量集。

Step 4:将测试集输入到构建完成的数据分类器,实现人脸检测。

4　实验分析

本文在Inter(R)Core(TM)Duo-E7500的CPU,内存6G的Windows 7操作系统下进行实验。采用Yale数据集和Japanese Female Facial Expression(JAFFE)数据集,对本文所提方法进行可行性的验证。

4.1Yale数据集实验

Yale数据集是由耶鲁大学推行的包含不同光照、表情的人脸数据库,模式类别数为15,每类各有11个模式样本,图像大小为100×100,灰度级256,总共有165个样本,部分数据图如图3所示。

图3　Yale数据集部分人脸图像

依据数据集人脸模型,利用Kinect的深度值还原功能,将图像深度值进行采样。将三维信息向量集输入改进的LLE算法中进行降维,将最佳降维数据输入随机森林进行人脸检测,设测试集数量为nc,准确检测人脸数量为nt,则检测率Pt可表示为

pt=(nt/nc)×100%

(11)

将本文算法结果与KPCA算法,HOG算法,LLE算法所得结果进行对比,比较结果如表1、表2所示。

表1　检测率比较结果

表2　检测时间比较结果

由表1可得,本文算法的检测率平均保持在93%左右,而KPCA算法,HOG算法,LLE算法分别保持在81%,82%,86%左右,高于传统算法中检测率最高的LLE算法7%左右。表2表明:本文算法在检测时间方面略长于LLE算法,平均检测时间多0.1 s左右,这由于本文算法加入了深度信息,加大了图像的维数,但检测率明显提高,检测时间的略增长对检测效率的影响并不大,体现出本文算法的可行性及优越性。

4.2JAFFE数据集实验

JAFFE数据集是由日本妇女的多种表情图像所组成,模式类别数为10,每类各有20个左右的模式样本,图片尺寸,灰度级256,总共有213个样本,部分数据图像如图4所示。

图4　JAFFE数据集部分人脸图像

按照4.1节中对数据集的分配比例构建对应的训练集和测试集,按照其实验方法进行人脸检测实验,将本文算法再次与KPCA算法,HOG算法,LLE算法比较,所得结果如图5所示。

由图5(a)可以看出,本文算法在JAFFE数据集的平均检测率为94.2%,而KPCA算法,HOG算法,LLE算法分别保持在83.4%,83.5%,87.3%,明显优于传统人脸检测算法;图5(b)可得,本文算法在JAFFE数据集的检测时间与LLE算法大致相同,且优于KPCA算法和HOG算法,说明了本文算法虽在检测效率上没有明显提高,但在检测率上提高10%,证明本文算法在人脸检测中具有一定的优势。

图5　JAFFE数据集比较结果

5　结论

本文对LLE算法进行深入研究,结合随机森林算法,提出一种改进型深度LLE的人脸检测算法。该算法首先利用图像深度信息结合颜色信息,扩展了人脸图像的信息量,再利用改进LLE算法进行最优化数据降维,再通过随机森林算法对降维数据进行分类,建立人脸图像分类器,实现人脸检测。

实验结果表明:本文算法有较强的适用能力,针对多个数据库具有较好的检测率。Yale数据集和JAFFE数据集实验表明算法针对图像数据具有较高的检测率,平均保持在93%和94.2%,优于传统算法,体现算法在人脸图像检测中具有一定的优势。今后的任务是进一步研究人脸图像检测中的干扰因素,提高算法抗干扰能力。

参考文献:

[1]Rencher A C,Christensen W F.Methods of Multivariate Analysis[M].3 Ed.Hoboken:Wiley Press,2012:405-433.

[2]Wang J,Zhou Y S,Du X J,et al.Personal Credit Assessment Based on KPCA and SVM[C]//Proceedings of International Conference on Business Intelligence and Financial Engineering,Beijing:IEEE Press,2012:25-28.

[3]Dalai N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego:IEEE Press,2005:886-893.

[4]Gentle J E,Härdle W K,Mori Y C.Handbook of Computational Statistics:Concepts and Methods[M].2nd Ed.Germany:Springer Press,2012:883-926.

[5]Iosifidis A,Tefas A,Nikolaidis N,et al.Multi-View Human Movement Recognition Based on Fuzzy Distances and Linear Discriminant Analysis[J].Computer Vision and Image Understanding,2012,116(3):347-360.

[6]Zafeiriou S,Tzimiropoulos G,Petrou M,et al.Regularized Kernel Discriminant Analysis with a Robust Kernel for Face Recognition and Verification[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(3):526-534.

[7]Roweis S T,Saul L K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science,2000,290(5500):2323-2326.

[8]郭峰,刘丽丽,吕凝.基于LLE和SVM的人像识别方法[J].吉林大学学报(信息科学版),2008,26(1):49-52.

[9]王宪,慕鑫,张彦,等.基于曲波域与核主成分分析的人脸识别[J].光电工程,2011,38(10):98-102.

[10]Mendoza M R,da Fonseca G C,Loss-Morais G,et al.RFMirTarget:Predicting Human MicroRNA Target Genes with a Random Forest Classifier[J].PloS one,2013,8(7):127-153.

[11]Boulesteix A L,Bender A,Bermejo J L,et al.Random Forest Gini Importance Favours SNPs with Large Minor Allele Frequency:Impact,Sources and Recommendations[J].Briefings in Bioin-formatics,2012,13(3):292-304.

[12]马瑞,王家廞,宋亦旭.基于局部线性嵌入(LLE)非线性降维的多流形学习[J].清华大学学报(自然科学版),2008,48(4):582-585.

[13]Chang Y,Hu C B,Feris R,et al.Manifold Based Analysis of Facial Expression[J].Image and Vision Computing,2006,24(6):605-614.

[14]Rivera S,Martinez A.Learning Deformable Shape Manifold[J].Pattern Recognition,2012,45(4):1792-180.

[15]翟永前,乔建,赵力.基于简化Gabor小波的人脸识别算法研究[J].电子器件,2012,35(6):687-681.

宋全有(1963-),男,河南孟州人,硕士,副教授,主要研究方向为计算机应用,通信与信息系统,61915600@163.com。

FaceDetectionAlgorithmBasedonModifiedDepthLLEandRandomForest*

SONGQuanyou1*,LIWangao2

(1.Department of Traffic Engineering,Henan Vocational and Technical College of Communications,Zhengzhou 450052,China;2.Computer College,Henan Institute of Engineering,Zhengzhou 451191,China)

Abstract:For the characteristics of face detection,a novel face detection algorithm based on modified depth Locally Linear Embedding(LLE)and Random Forest is proposed.Firstly,the depth information of images are collected by Kinect,and the three-dimensional image data base can be established by the depth information and colour information.Secondly,the dimension of data sets are reduced by modified LLE,and the optimal results of data dimension reduction can be gotten.The training sets are gotten by the proportion of data sets,and data classifier can be gotten by Random Forest.Finally,the test sets are input,and the face detection can be achieved.The two classes of data sets are selected as the experimental data,which consist of Yale and JAFFE.The experiment results show that the proposed method not only has a great effect to achieve face detection,but the detection rate is higher than the traditional algorithms about 7%.

Key words:face detection;locally linear embedding(LLE);depth;dimension reduction;random forest

doi:EEACC:6210C10.3969/j.issn.1005-9490.2014.04.010

中图分类号:TP391.41

文献标识码:A

文章编号:1005-9490(2014)04-0626-05

收稿日期:2013-09-16修改日期:2013-10-31

项目来源:国家自然科学基金项目(61272253)