刘慧颖 孙玉国

摘  要： 针对非限制人脸识别中人脸图像的尺寸和角度影响识别精度的问题，本文根据渐进校准的思想，设计出一种以具有渐进校准功能的卷积神经网络为分析算法的人脸识别方法。首先在非限制环境下对人脸图像进行几何归一化处理，并且利用主成分分析法进行降维;然后基于仿射变换和局部人脸分割理论，提出基于细节变换与特征融合的方法对人脸进行矫正;最后利用残差卷积神经网络构建人脸识别模型，在LFW数据集上对模型参数进行训练，并对训练后的模型进行仿真和检验。实测表明，通过矫正得到的正面人脸图像虽然存在轻微的扭曲现象，但其提取的特征信息能够有效提高非限制条件下多姿态人脸的识别准确率。

关键词： 人脸识别;人脸矫正;非限定条件;渐进校准;卷积神经网络

【Abstract】： Aiming at the problem that the size and angle of face image in non-restricted face recognition affect the recognition accuracy， this paper designs a face recognition method based on progressive calibration to construct a convolutional neural network with progressive calibration function. Firstly， the face image is geometrically normalized in an unrestricted environment， and the principal component analysis method is used to reduce the dimension. Then based on the affine transformation and the local face segmentation theory， a method based on detail transformation and feature fusion is proposed. The face is corrected. Finally， the residual recognition convolutional neural network is used to construct the face recognition model. The model parameters are trained on the LFW dataset， and the trained model is simulated and tested. The actual measurement shows that although the positive face image obtained by the correction has slight distortion， the extracted feature information can effectively improve the recognition accuracy of multi-pose face under unconstrained conditions.

【Key words】： Face recognition; Face correction; Unqualified condition; Progressive calibration; Convolutional neural network

0  引言

人脸识别作为生物特征识别领域的重要方法之一，因其具有非接觸性和不易窃取性的特点，已经被广泛应用于安全监控、人机交互、人工智能以及电子商务安全中[1]。人脸识别技术似乎是一个新兴的学科，但对相关技术的研究在19世纪末就已经开始[2]。从判断人脸的几何结构到特征脸方法的提出，再到深度神经网络在人脸识别领域的应用，人脸识别技术在数据测试上的识别精度得到很大提高，但是在应用环节时仍存在许多问题。在姿态变换和动态场景下即非限制条件下，进行人脸识别受到环境和人脸图像采集设备的因素的影响，导致人脸识别的准确性不好[3]。

针对上述问题，本文基于神经网络搭建出一个非限定条件人的脸识别方法。该系统基于渐进校准网络的人脸图像归一化方法，对完全平面中的旋转人脸图像进行预处理。利用仿射变换原理和局部分割融合技术设计了一种细节变换方法对人脸姿态进行矫正，来提高多姿态人脸图像识别的准确性。并用残差卷积神经网络搭建了用于本文人脸识别研究中的网络模型。

1  渐进校准网络的人脸图像归一化

在非限制性条件下获取的人脸图像大多数会出现背景、人脸有偏转角度、面部姿态和表情存在明显差异的情况，这些图像不适合直接作为训练样本[4]。所以在人脸识别之前，需要先进行人脸图像的几何归一化，主要包括人脸对齐和尺寸归一化。其中人脸对齐问题也被称为完全平面旋转（Rotation-in- plane， RIP）[5]问题。

本文在人脸检测阶段采用渐进校准网络（Pro g ressive Calibration Networks， PCN）[6]。通过渐进校准网络逐步校准输入人脸图像的RIP方向，使其垂直，以便更好地进行人脸特征提取。

其中，渐进校准网络在设计的过程中，为达到最好的效果，本文将其设计为三层，如图一所示。PCN第一层分类网络计算人脸朝向，对人脸图像的边框进行预测，进行第一次粗略定向和调整;第二层网络进一步对人脸图进行定向，对人脸图的边界框进行回归，并且将RIP角度的范围从 减小到。第三层网络是基于第二层网络的运算后，直接计算尺人脸图像的精确RIP角度，然后对人脸图像进行最终的精确调整。最终输出得到的调整好的图像。

2  非限定条件下人脸图像的姿态矫正

由于我们生活在三维空间中，所以人脸的旋转方向也分为三个维度，分别是绕X轴旋转、绕Y轴旋转和绕Z轴旋转[7]。而人脸姿态估计就是在二维平面中近似的计算出二维人脸图像对应于三维直角坐标系XYZ的偏转角度[8]。

根据人脸图像在二维空间中的成像惯例，一共有三种情况：以X轴为中心旋转的;以Y轴为中心旋转;以Z轴为中心旋转。因为以X轴为中心的人脸图的旋转，只会导致在二维平面中方向上的变化，而不会产生人脸信息的缺失，但绕Y、Z轴旋转，会产生人脸信息缺失。

2.2  人脸姿态矫正

仿射变换矩阵可以通过对人脸图像进行旋转、平移、缩放来修正较为轻微的人脸姿态变化。但在旋转角度比较大的情况下，通过仿射矩阵得到的人脸图像会因为旋转角度过大，导致特征信息不准确和失真。所以在仿真变换的基础上，采用细节变换与特征融合的姿态矫正方法，使特征信息得到最大的保留。

首先建立图2所示的标准人脸模板。模板的建立是以数据库中的图像为基准生成的。先根据数据库中的无偏转的图像确定人脸图像的尺寸，选定关键点位置，本文的关键点分别选取双眼、鼻尖、嘴唇两角，然后对图像进行Procrustes分析，得到标准人脸的特征位置，进而生成标准人脸模板。

然后对人脸区域进行划分并会进行人脸矫正，将补齐的局部人脸映射到标准模板的对应位置，得到校正后的正面人脸。矫正后的人脸因为放射变化和人脸切分存在一定程度上的变形，但通过参数调整和网络训练可以减轻其对人脸识別准确率的影响。

3  网络模型的设计与训练

图3是本文人脸识别的流程图。通过对采集到的人脸图像进行渐进校准归一化和姿态矫正后获得待识别的人脸图像，此时，对人脸识别图像进行降维，通过已经建立的人脸识别库训练基于残差网络

人脸识别模型，然后利用训练好的模型对待识别的人脸图像进行识别。如果识别未成功，判断该待识别人脸图像里的人员在数据库中是否有记录，如果有记录，则直接存入该人员的图像子库中，如果没有，则建立新的子库并存入。

3.1  基于残差学习的网络结构

本文中将标准人脸图像的尺寸设置为，网络模型如下图4所示，共有18个卷积层，卷积尺寸统一为，卷积步长为1，每个卷积层后面跟一个修正线性单元层（Rectified Linear Unit，ReLU）。网络中有三个最大的池化层，池化层窗口大小为，步长为2，一个窗口大小为平均池化层。每经过一次池化，卷积核的数量翻倍，最后一次池化后通过全连接层后输出人脸特征信息，利用SoftMax分类器对人脸特征信息进行分类，输出人脸类别。

其中，是将被学习到的残差映射，为残差块的输入，为残差块的输出。残差块是一个两层神经网络，经过两次激活后，得到公式4。

3.2  模型的初始化

对于神经网络模型，其网络权值对模型的收敛有很大的影响。所以在神经网络模型进行训练之前，会对其进行合适的初始化，通过该方式可以降低梯度下降算法收敛于局部极小值的概率。

在深度学习中，常用的激活方式主要有：sigmoid函数、tanh函数、ReLU函数、Leaky ReLu函数。Sigmoid函数是将取值为的数映射到之间，作为激活函数在权值接近于0时斜率接近于1，神经网络可以近似看作线性函数，此时基本不会产生局部极值;tanh函数较sigmoid函数要常见一些，该函数是将取值为的数映射到之间;ReLU函数是一种分段线性函数，当输入值大于0时不存在梯度消失的问题，弥补了sigmoid函数和tanh函数的不足，并且计算速度要快很多，因为该函数只有线性关系，不管是前向传播还是反向传播，计算速度都要比其他方法快很多。Leaky ReLU函数是ReLU函数改进的函数，又称为PReLU函数，但其并不常用。

本文采用ReLU函数来对模型进行初始化。初始学习率固定为0.001，迭代3000次后学习率设置为0.0001，得到如表1所示不同负半轴斜率所对应的准确率，最终选择负半轴斜率的Leaky ReLU激活函数。

3.3  对数据库进行补充

因为本文中的人脸识别环境时非限制的，所以采集到的人脸图像会在光照、角度等情况下有很  多差异，此时为使建立的人脸识别模型对不同环境和情况的适应性更好，对待识别的图像进行以下 操作：

识别未成功时：判断识别未成功的图像中的人在人脸库中是否已建立子数据库，如果已建立，则将人脸图像存入子数据库中;若为建立子数据库，则建立新的自数据库，将人脸图像存入子数据库中。识别成功时：退出系统或继续识别。

4  实验结果与分析

下面是有遮挡情况下和人脸带一定偏转角度情况下的人脸识别情况：

图5左列为实时采集到的人脸图像，右图为经过人脸识别模型识别后从数据库匹配到的图像。从上图可以看出，本文采用的人脸识别模型对于半遮挡和带有一定偏转角度的的人脸像具有优良的识别效果。非限定条件包括很多条件、环境、人脸状态。本文将测试重点放在人脸姿态变化和人脸遮挡情况。

人脸姿态变换情况下的识别率如表2所示，使用的人脸数据库是LFW人脸库。实测情况主要根据人脸角度的变化进行测试和分析。可见，随着人脸的左右偏转角度变化，人脸识别的正确率也在变化，并随着偏转角度的增加，识别率逐渐降低。但对比其他识别模型，本文构建的人脸识别模型具有显著优势。

由表3可以看出本文的人脸识别模型对左右脸有遮挡情况下，识别正确率是比较令人满意的，但对于上下半张脸50%的遮挡率，识别效果不是很理想，针对这一部分还需要继续改进。

5  结论

本文在人脸图像预处理中采用渐进校准，并通过仿射变换进行人脸姿态矫正，为后期的模型识别提供了更加标准的人脸图像。通过PCA对矫正后的人脸图像尽行降维，提取主成分，提高后面的残差学习网络模型的识别速度和效率。本文构建的人脸识别模型较传统的人脸识别模型，具有更高的适应性，在非限制环境下也可以达到相当可观的识别精度。

参考文献

[1]林椹尠， 李相羽， 惠小强. 一种非限制性条件下人脸识别的方法[A]. 西安邮电大学学报， 2018， 23（2）： 49-57.

[2]张敏， 徐启华. 基于改进BP 的神经网络模型参考自适应控制[J]. 软件， 2015， 36（7）： 118-123

[3]叶诗韵， 黄志成. 基于人脸识别的考生身份识别应用研究[J]. 软件， 2018， 39（12）： 37-39

[4]KRIVOV S， ULANOWICZ R E， DAHIVA A. Quantitative measures of organization for multiagent systems[J]. Bio- systems， 2003， 69（1）： 39-54.

[5]徐雪， 張艺， 余开朝. 基于 BP 神经网络的智能制造能力评价研究[J]. 软件， 2018， 39（8）： 162-166

[6]赵文可， 孙玉国. 弹性RBF神经网络在人脸识别中的应用研究[J]. 软件， 2018， 39（5）： 203-206

[7]王聪兴， 刘宝亮. 一种基于图像处理的表面故障裂纹检测系统[J]. 软件， 2018， 39（5）： 144-150

[8]陈希彤， 卢涛. 基于全局深度分离卷积残差网络的高效人脸识别算法[J]. 武汉工程大学学报， 2019， 41（3）： 276-282.

[9]周丽芳， 杜跃伟， 李伟生， 李宇. 一种基于分治策略的Huffman-LBP多姿态人脸识别[J]. 小型微型计算机系统， 2018， 8： 1835-07.

[10]Dong Li， Huiling Zhou and Kin-Man Lam “High Resolution Face Verification Using Pore-Scale Facial Features” IEEE transactions on image processing， Vol. 24， No. 8， pp 2317-2327， 2015.