吴　进，严　辉，王　洁

(西安邮电大学 电子工程学院,西安 710121)



采用局部二值模式与深度信念网络的人脸识别*

吴进**，严辉，王洁

(西安邮电大学 电子工程学院,西安 710121)

针对人脸维度过高和人脸局部特征提取易忽略的问题，提出了一种将多尺度局部二值模式(LBP)算法与深度信念网络(DBN)算法相结合的人脸识别方法。首先采用多尺度LBP算法提取人脸纹理特征，进而将LBP提取的纹理特征作为深度信念网络的输入，最后通过逐层网络训练，得到网络的最优参数，并在ORL人脸库中进行测试，识别率可达95.2%，比使用Gabor小波和主成分分析(PCA)算法的人脸识别高2.6%，说明该算法具有很好的人脸识别能力。

人脸识别；特征提取；局部二值模式；深度信念网络；受限波尔兹曼机

1　引　言

人脸识别作为模式识别领域的热点研究，其社会价值在各个领域得到了体现[1]。而自从Hinton等人提出了深度学习的概念后，深度学习在机器学习上取得了良好的成果。在复杂函数和复杂分类上，深度学习网络的结构比浅层网络结构更加有效，继而产生了各种深度学习的模型，而深度信念网络(Deep Belief Network，DBN)可以算作典型模型之一。人脸的特征提取是识别的关键，然而经过无数学者的研究，提出了全局特征提取的方法有：主成分分析(Principal Component Analysis，PCA)[2]法；文献[3]提出的相位图方法用于光照不变人脸识别，将图像经过快速傅里叶变换到频域后，相位图比能量图包含了对识别有用的信息，而且相位图对光照变化不敏感；文献[4]采用的是Gabor小波和支持向量机的方法进行人脸识别。局部特征提取方法主要有有局部二值模式(Local Binary Pattern，LBP)[5]、Gabor小波[6]等。随着DBN在图像领域的应用，其在人脸识别上也得到了关注，获得了很高的识别率，但是DBN达不到图像局部特征的要求，且伴随着人脸受光照、姿态、表情的影响；然而，LBP是作为纹理描述的算子，可以将LBP得到的纹理特征作为DBN的输入，以弥补DBN的缺陷，提高人脸的识别率和鲁棒性。

针对主成分分析以及Gabor小波方法不能很好地处理人脸图像的局部信息以及对于人脸的高维特征的提取，本文提出了基于LBP和DBN相结合的网络模型，通过DBN的分类，得到了很好的分类性质的特征。实验表明该算法具有很好的人脸识别效果。

2　基本原理

2.1局部二值模式(LBP)

LBP算子是用来描述纹理特征的，它可以有效地提取灰度图像中局部邻近区域的纹理，LBP算子具有高鉴别性、复杂度底、旋转不变性和灰度不变性等特点。LBP算子通常由(P,R)来表示，P表示邻域内包含的像素个数，R表示邻域半径，我们以任意一个像素点gc(xc,yc)为阈值，对周围其他8个像素点做二值化处理，将灰度值大于阈值的点设置为1，小于阈值的点设置为0，以此可得到一个8位的二进制数，用这个值来反映该区域的纹理信息。

LBP的编码计算公式[7]为

(1)

(2)

将8个像素点按顺时针方向排列得到一个8位的二进制编码，即(01111100)，进而转换成十进制，就可以得到对中心像素计算后的结果，最后做直方图统计，得到直方图特征向量。定义图像特征H为

(3)

式中：n表示LBP算子产生不同标记的数据；i表示一个LBP模式，它决定于所使用的LBP算子。

人脸可以看作是由微小部分组成，而这些每一个小块就可以通过LBP码来描述。为了改善传统LBP算子维度高、局部纹理信息差的特点，本文通过将人脸分成16个子区域，然后对每个区域的LBP谱计算，得到H1～H16，最后统计每个区域的谱直方图形成整个图片的特征直方图，即可以表示为Hi={H1,H2，…，H16}， 这个方法很好地提取到了图片不同区域的特征。

2.2深度信念网络模型

深度学习是由Hinton等人[8-9]于2006年提出来的，深度信念网络是一个包含多层隐层的概率模型，每一层从前一层的隐含单元捕获高度的关联性，而隐含层就是由受限的玻尔兹曼机构成。

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)[10]是一种由两层节点组成的网络，是由一层可视层单元和隐藏层单元组成的随机神经网络，被看作是二分结构的无向图，其中所有的可视层单元连向了隐含层。可视层由v个随机变量组成，V=[v1,v2,…,vv]，隐含层由h个随机变量组成，H=[h1,h2,…,hh]。同时在已知可视层的情况下，所有的隐含层单元是条件独立的，反之也成立。其联合组态的能量可表示为

(4)

式中：θ=(a,b,w)是RBM的参数；Wij是可视层和隐含层之间的连接权重；bi表示可视层的权重；aj表示隐含层的权重。根据无向图的模型可得，随机变量(v,h)的联合概率密度即为该模型的Gibbs分布，用式子可表示为

(5)

其中：

(6)

结合式(1)～(3)可以得到概率为

(7)

(8)

式中：σ(x)=(1+e-x)-1是激活函数，即sigmoid函数值范围为[0,1]。

深度信念网络可以看做是由多个受限玻尔兹曼机的累加，也可看作是由多个随机变量组成的有向无环图，其实DBN是一个概率的生成模型，生成模型是建立在一个观察数据和标签之间的联合分布。使用每个底层的RBM作为输入的数据用于训练下一个RBM，进行贪婪学习得到一组RBM，如图1是DBN的结构图[11]。对于一个含有l层隐藏单元的DBN，可视单元和隐藏单元之间的联合分布可以表示为

(9)

式中：v表示深度信念网络的可视单元，且v=h(0)；h(k)表示第k层隐藏单元，其中，k=1,2,…，l，并且第k层和第k+1层的隐藏单元满足

(10)

(11)

图1　深度信念网络结构

3　实验结果以及分析

3.1本文改进的算法

由于传统LBP对人脸局部纹理特征信息提取的不足，本文采取多尺度的LBP纹理特征提取方法对人脸进行分块提取每一块的特征，最后统计整个人脸的纹理特征作为深度信念网络的输入，算法的结构如图2所示。

图2　人脸识别模型

算法具体步骤如下：

Step 1 将训练集和测试集分块进行特征提取，对每个子块进行直方图提取，并将所有子块的特征连接起来形成最终的LBP纹理特征;

Step 2 将训练集的LBP纹理特征输入给DBN的可视层，然后进行各层的训练，得到所需最优的参数;

Step 3 其中RBM的训练采用CD学习来更新权值，获得样本数据的特征，权值更新表示为

Wij←Wij+ΔWij,

(12)

ΔWij=ε(〈vihj〉data-〈vihj〉model)；

(13)

Step 4 对每一层得到的权值W采用共轭梯度法进行微调，最后采用反向传播微调整个网络，并利用分类器分类后获得测试样本的标签，计算正确识别率。

3.2在ORL数据库上的测试

为了验证本文算法，我们采用的是ORL人脸数据库，ORL数据库中有40位人，其中每一位人有10张图片，并且有着不同的姿势、表情，这样实验中总共有400张人脸，我们采用随机抽取每个人的7幅图片作为训练集，3张为测试集。图4所示是ORL人脸库实例，实验实现的平台为Windows7和MatlabR2014a，采用的处理器为Intel(R) core(TM) i3-2530M CPU 2.30 GHz，内存8.00 GB。

图3　ORL人脸库实例

首先对人脸库中的人脸进行多尺度LBP特征提取，统计每一个分块的特征，最终得到一个完整的人脸特征，分别对不同表情和姿态的人脸进行了人脸的特征提取，测试结果如图4所示。

图4　特征提取

在实验中我们对图片进行LBP特征提取时采用的是4×4分块，半径为1，像素数为8；选择的模型为两个DBN的隐层，分别为100-100-40、150-100-40、200-100-40进行了测试，最后的100-40为逻辑回归层，对每一层进行3 000轮的循环迭代，学习率为0.01。采用本文的算法得到的实验结果如表1所示，采用Gabor和PCA人脸识别的方法以及Gabor和支持向量机(Support Vector Machine，SVM)人脸识别的方法结果如表2所示，可见所提出方法的识别率比另外两种方法的识别率有明显提高，其可能原因是LBP提取到的纹理特征更能代表人脸的信息，更有利于网络的学习，并且由实验结果可知，随着隐含层节点的增加，识别率也随着提高。而Gabor+PCA的方法识别率低的原因是在更大的训练样本上，光照以及人的姿态等其他因素全部集中在了主成分分析的主向量上，导致了识别率的降低。所以，所提出的方法在识别率和鲁棒性上都有很好的优势。

表1　LBP+DBN实验结果

表2　与其他方法比较

4　结束语

本文方法是对局部二值模式改进后和深度信念网络的结合。根据实验对比，本文方法比Gabor小波和主成分分析以及SVM人脸识算法在识别率上都有明显提高，体现了LBP+DBN的方法在提取人脸局部特征和鲁棒性上有很好的效果，但是实验中可以看出所消耗的时间还很长，所以今后的工作一方面继续对深度学习算法进行学习和改进，另一方面可以通过使用GPU对其进行加速处理。

[1]尚骁，吴进. 采用Gabor_Hough 变换的自适应滤波人眼定位[J].电讯技术，2016,56(3):324-330.

SHANG Xiao,WU Jin. Eye location based on adaptive filter using Gabor_Hough transform[J].Telecommunication Engineering,2016,56(3):324-330.(in Chinese)

[2]BARTLETT M S，MOVELLAN J R，SEJNOWSKI T J.Face recongnition by independent component analysis[J].IEEE Transactions on Neural Networks,2002,13(6):1450-1462.

[3]SAWIDES M，KUMAR B V K V，KHOSLA P K. Eigenphases vs eigenfaces[C] // Proceedings of the 17th International Conference on Pattern Recognition.Cambridge，England：IEEE,2004:810-813.

[4]SHEN L，BAI L. Mutual boost learing for selecting Gabor features for face recognition [J].Pattern Recognition Letters,2006,27(15)：1758-1767.

[5]AHONEN T，HADID A，PIETIKAINEN M. Face recognition with local binary patterns[M].Heidelgerg,Berlin:Springer，2004:469-481.

[6]柴瑞敏,曹振基.基于Gabor小波与深度信念网络的人脸识别方法[J].计算机应用,2014，34(9):2590-2594. CHAI Ruimin，CAO Zhenji. Face recognition method based on Gabor wavelet and deep belief network[J].Computer Application,2014，34(9):2590-2594.(in Chinese)

[7]AHONEN T，HADID A，PIETIKAINEN M. Face recognition with local binary patterns：application to face recognition[J].IEEE Transactions on Neural Networks，2006，28(12):2037-2041.

[8]HINTON G，OSINDERO S，TEH Y.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18(7):1527-1554.

[9]HINTON G E，SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J].Science，2006,313(5786):504-507.

[10]罗恒. 基于协同过滤视角受限玻尔兹曼机研究[D] .上海：上海交通大学，2011.

LUO Heng.The research perspective of RBM based on collaborative filtering[D].Shanghai:Shanghai Jiaotong University,2011.(in Chinese)

[11]AREL I，ROSE D C，KARNOWSKI T P.Deep machine learning a new frontier in artificial intelligence research[J].IEEE Computational Intelligence Magazine，2010,5(4):13-18.

吴进(1975—)，女，江苏常州人，教授、硕士生导师，主要研究方向为信号与信息处理;

WU Jin was born in Changzhou,Jiangsu Province,in 1975. She is now a professor and also the instructor of graduate students. Her research concerns signal and information processing.

Email:huatao2000@126.com

严辉(1990—)，男，陕西咸阳人，2014年获工学学士学位，现为硕士研究生，主要研究方向为图像处理和人脸识别;

YAN Hui was born in Xianyang,Shaanxi Province,in 1990. He received the B.S. degree in 2014. He is now a graduate student. His research concerns image processing and face recognition.

Email:yh1204@aliyun.com

王洁(1989—)，女，陕西渭南人，2013年获工学学士学位，现为硕士研究生，主要研究方向为图像和视频处理。

WANG Jie was born in Weinan,Shaanxi Province,in 1989. She received the B.S. degree in 2013. She is now a graduate student. Her research concerns image and video image processing.

Email:15829075617@163.com

The National Natural Science Foundation of China(No.61272120);The Science and Technology Overall Plan of Shaanxi Province(2016KTZDGY02-04-02)

Facial Recognition Using Local Binary Pattern and Deep Belief Network

WU Jin，YAN Hui，WANG Jie

(School of Electronic and Engineering,Xi'an University of Posts and Telecommunications,Xi′an 710121,China)

In view of the large dimensions of facial features and the neglect of the local features extraction,this paper proposes a facial recognition method based on multi-scale local binary pattern(LBP) and deep belief network(DBN) algorithm.Firstly,the texture features are extracted by using multi-scale LBP,then these features are inputed to DBN,and finally the optimal parameters of the network are obtained by layered network training.A test on the ORL faces database is performed and recognition rate reaches 95.2%,2.6% higher than that of face recognition using Gabor wavelet and pincipal component analysis(PCA) algorithms,which illustrates that the proposed algorithm has a good face recognition ability.

facial recognition;feature extraction;local binary pattern;deep belief network;restricted Boltzmann machines

10.3969/j.issn.1001-893x.2016.10.010

2016-03-25；

2016-06-01Received date:2016-03-25；Revised date：2016-06-01

国家自然科学基金资助项目(61272120)；陕西省科技统筹项目(2016KTZDGY02-04-02)

TN911.7；TP391.4

A

1001-893X(2016)10-1119-05

引用格式：吴进，严辉，王洁.采用局部二值模式与深度信念网络的人脸识别[J].电讯技术，2016,56(10):1119-1123.[WU Jin，YAN Hui，WANG Jie.Facial recognition using local binary pattern and deep belief network[J].Telecommunication Engineering,2016,56(10):1119-1123.]

**通信作者：huatao2000@126.comCorresponding author：huatao2000@126.com