基于图像色彩纹理的人脸活体检测算法研究

2019-07-30廖迪黄奥运李科孙家炜

现代计算机 2019年18期

廖迪，黄奥运，李科，孙家炜

（1.四川大学计算机学院，成都610065；2.四川川大智胜软件股份有限公司，成都610045）

0 引言

随着技术的发展进步，生物特征已广泛被应用于各种认证领域。人脸作为一种辨识度高的生物特征，也被应用于各种认证场景。但是人脸识别系统安全性仍然存在威胁——人脸欺诈攻击。人脸欺诈攻击即当某人通过人脸认证系统时，提供系统照片或视频形式的伪人脸信息。如果在人脸识别的过程中，提供人脸活体检测功能，则有助于提高人脸识别系统的安全性。本文基于人脸色彩和亮度信息的人脸活体检测算法，通过提取色彩通道和亮度通道的特征，并将各通道特征级联组合，最终通过神经网络对人脸进行分类。

人脸活体检测的研究主要集中在分析灰度图像上，并没有考虑图像的色彩信息，然而色彩信息对于区分真实人脸和伪人脸是有用的。当图像分辨率足够高的时候，只提取灰度图像的纹理特征是足以区分真实人脸和伪人脸的。但是通常监控摄像头并不能采集高分辨率的图像，只基于灰度图像的纹理特征并不能够适用于大多数的人脸认证场合。只基于色彩的纹理特征也存在一些问题，例如真实人脸眼睛和伪人脸眼睛在色彩纹理信息中是相似的。结合亮度和色彩信息的特征，可以更容易区分真实人脸和伪人脸。

根据上文所描述的想法，在本文中，我们提出了基于人脸图像色彩纹理信息的人脸活体检测算法。将人脸图像转换到HSV 或YCbCr 色彩模式下，针对人脸图像各个通道分别提取LBP 特征，并进行通道融合形成神经网络的输入，由神经网络完成分类的功能。

由于图像存在多种色彩模式，如RGB、HSV 和YCbCr，所以需要考虑各色彩模式下的特征对于区分活体人脸的效果。

基于CASIA Face Dataset 和Rep-Lay-attack 数据集的实验结果表明，在照片或视频形式的活体人脸检测中，基于色彩纹理信息的方法更优于只基于亮度纹理信息的方法。

1 基于色彩LBP的人脸活体检测算法

人脸欺诈攻击通常是向人脸认证系统提供照片或视频形式的伪人脸信息。在采集人脸信息时，若人脸图像分辨率较低，分析只基于亮度的LBP 纹理特征，即可达到人脸活体检测较好的效果。但是对于分辨率较高的人脸信息，只基于亮度的人脸纹理特征在人脸活体检测时，真实人脸和伪人脸区分度并不高。

然而，在不同介质（如照片、视频或面具）上的人脸色彩信息，与真实人脸色彩信息有比较大的区分度。由于在生成伪人脸信息过程中，受到介质或人脸信息采集设备的影响，伪人脸信息在色彩信息上存在不同程度的失真现象。因为通过分析人脸色彩纹理信息，可以较容易地区分真实人脸和伪人脸。因此，利用HSV 或YCbCr 色彩模式，分离人脸图像亮度和色彩信息，提取相应的LBP 纹理特征，再融合两者信息，用于人脸活体检测。因图像存在多种色彩模式，所以我们需要进一步考虑何种色彩模式更适用于色彩纹理特征的提取。

1.1 色彩模式

首先，常用的用于显示图像的色彩模式包含RGB、HSV、YCbCr。然而，由于R、G、B 通道间存在高度相关性，其在图像分析中的应用非常有限，三种颜色成分（红色、绿色和蓝色）之间以及亮度和色度信息的不完全分离。不同的颜色通道对于检测伪人脸图像可更具辨别力[4-5]。在本文中，主要采用HSV 和YCbCr 色彩模式。这两种色彩模式特点是，基于图片分离的亮度和色彩信息。在HSV 色彩模式中，H 表示图像的色调，S表示颜色的饱和度，V 表示图像的亮度；在YCbCr 色彩模式中，Cb 表示图像的蓝色饱和度，Cr 表示图像的红色饱和度，Y 表示图像的亮度。HSV 和YCbCr 这两者色彩模式与RGB 色彩模式相比较，可将亮度信息和色彩信息分离表达，这一特性可以为人脸活体检测提供重要的理论依据。本研究分别提取HSV 和YCbCr 这两个色彩模式下的亮度通道和色彩通道的信息，所用到的特征提取算法包括LBP、Co-occurrence of Adjacent Local Binary Patterns 和局部相位量化LPQ。

在RGB、灰度图、HSV、YCbCr 色彩模式下，真实人脸、视频录制形式以及照片形式人脸，对比如图1所示。

1.2 局部二值模型（LBP）

局部二值模型，又称LBP（Local Binary Pattern）算子，是用于提取图像局部纹理特征，LBP 算子具有如旋转不变性和灰度不变性等的显著特点。它是首先由T. Ojala、M.Pietikainen 和D. Harwood 在1994 年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。

LBP 算子原始定义，是指在3×3 的方形邻域内，以邻域中心位置灰度值作为阈值，将邻域内的边缘位置灰度值与中心位置灰度值比较，如果邻域边缘位置灰度值大于邻域中心位置灰度值，则标记此像素点位置值为1，否则标记此像素点位置值为0。因此，在3×3邻域内可生成8 位二进制数（转换为十进制数后，即LBP 代码，总共256 个），即获得邻域中心像素的LBP值，并且该值可用于反映相应区域的纹理信息。如图2所示。

图1 三种人脸图片在RGB、灰度、HSV、YCbCr下的对比

图2 LBP算法示意图

改进LBP 算法一——圆形LBP。最初的LBP 算子的缺点之一在于只考虑了与局部中心位置相邻的点，对于采样范围和采样频率有所限制。为了解决采样尺度和频率多样化的问题，并且保存旋转不变性和灰度不变性，Ojala 等改进了LBP 算子。扩大邻域的采样半径以及在半径上采样点的数量，以此来增加采样的范围和采样频率。改进之后，LBP 算子即为在半径R 上的圆形邻域内，取任意多个像素点P 的圆形LBP算子。

改进的LBP 算法二——旋转不变模式LBP。根据最初LBP 算子的定义可知，LBP 算子虽然具有灰度不变性。但是当图片旋转时，如果LBP 算子不随着图片旋转，则得出的LBP 值是不一样的。为了改进LBP 算子的旋转不变性，Maenpaa 等人扩展了LBP 算子——即为拥有旋转不变性的LBP 算子。将LBP 算子不断旋转得到8 种不同的LBP 值，取其中最小的值作为该像素点的LBP 值。

图3 LBP改进算法示意图

1.3 卷积神经网络

卷积神经网络与传统方法不同，不需要通过手工设计特征，可以自动提取特征，但是网络的参数需要经过训练得到。

如图4 所示为AlexNet 网络的结构示意图，AlexNet 是在2012 年ImageNet 竞赛中获得图像分类冠军的网络模型，结构较简单，训练比较容易，共分8 层：前5 层为卷积层包括卷积和池化以及ReLU 激活操作，用于提取特征；后3 层为全连接层包括全连接和dropout 以及Softmax 操作用于图像分类。AlexNet 在最后输出层为1000 个类别的概率。

图4 AlexNet结构示意图

表1 AlexNet 相关参数

1.4 基于色彩LBP的卷积神经网络方法

本文所采用的方法结合了LBP 特征和卷积神经网络。人脸活体检测流程主要步骤如下：

（1）在进行网络分类之前，通过LBP 算子，设定P=8，R=1，得到图像的H、S、V（或Y、Cb、Cr）通道的LBP特征图，并进行融合。

（2）将人脸图像尺寸裁剪为221×221 的大小。

（3）之后用卷积神经网络对LBP 特征图提取特征，而不是手工设计的直方图特征。

（4）将AlexNet 的分类输出更改为2 类（活体、非活体），对图像进行分类。

在进行网络训练时，采用的训练策略如下：

（1）采用SGD 优化方法，初始学习率设置为0.01，权重衰减系数为0.001，动量系数为0.5，dropout 系数为0.7。

（2）在开始训练前，使用xavier 方法初始化网络参数，每次提取32 张图像，共迭代50 次。

（3）在迭代10 次后，调整学习率为0.001。

（4）在迭代20 次后，调整学习率为0.0001。

图5 人脸活体检测流程示意图

2 数据集

在这一节中，我们介绍CASIA Face Dataset 和Replay-Attack 这两个数据集。

CASIA Face Dataset 数据集包含两类视频信息：真实人脸和伪人脸。通过采集50 人的真实人脸数据，并以真实人脸数据为基础制作高分辨率的伪人脸数据，构成此数据集。伪人脸通过以下三种方式制成：弯曲照片、照片裁剪、视频录制。

视频数据是应用三种不同分辨率（低分辨率、常用分辨率、高分辨率）的摄像设备进行采集的。视频采集共50 人的人脸数据，将其中20 人的人脸数据归为训练集，其余30 人的人脸数据归为测试集。该数据集基准测试中建议的实验场景包含7 种：低分辨率图像、正常分辨率图像、高分辨率图像、弯曲照片、裁剪照片、视频攻击，以上场景综合实验。前三种场景研究图像分辨率对实验的影响，后三种场景研究图像介质对实验的影响，最后评价方法在综合场景中的性能。

Replay-Attack 数据集收集了50 人的视频记录：真实人脸及对应的伪人脸。为便于实验对比分析，在光照充足和光照不足的条件下，以及在相同光照不同分辨率条件下，分别采集真实人脸和伪人脸的视频信息。在此数据集中，设计了三种形式的人脸欺诈方式：打印照片欺诈、移动设备欺诈、高分辨率照片欺诈。根据在摄像头前展现伪人脸时支撑方式分类，可分为固定支撑点欺诈和手持支撑点欺诈。并将整个数据集拆分为三个训练集，验证集和测试集。

为了验证本研究的有效性，首先对训练数据进行了处理，对每个视频每三帧提取一张图片。训练数据集共23523 张人脸图片，其中活体人脸9881 张，非活体人脸13642 张。

测试数据集包括公开人脸数据集、人脸活体检测设备采集真实数据和照片攻击、视频攻击数以及训练数据集部分数据。

3 实验结果

训练结果如表2 和表3 所示。表2 和表3 分别为模型在REPLAY-ATTACK Dataset 和CASIA Face Dataset 数据集上测试的结果。表中展示了图像在灰度，RGB、HSV 和YCbCr 色彩模式下，提取的LBP 特征的测试结果。从表中可以清楚地看到，与灰度图提取的纹理所得到的结果相比，其他几种颜色纹理信息能明显提高识别的准确性，当对几种不同的颜色空间所提取的纹理训练结果作比较时，HSV 和YCbCr 所得到的效果好于RGB 所得到的效果，从测试结果可以看出，YCbCr 色彩模式下提取的纹理信息得到了最好的效果，HSV 的部分测试结果好于YCbCr，因此，进一步研究了在H SV 和YCbCr 色彩模式下，提取人脸图像的LBP 特征，通过特征融合将两种颜色纹理组合起来所表现出的效果。