王兆伟 吴翔 卓玛曲珍

(西藏大学信息科学技术学院,西藏拉萨 850000)

0 引言

近年来,在深度学习和大数据技术的快速发展下,人脸识别技术也得到了迅速的发展。经过不断改进和优化,如今可控环境下的人脸识别准确率已能满足很多应用的需求。尽管如此,目前常用的基于普通可见光图像的人脸识别技术仍然面临抵抗照片、视频等伪造人脸攻击能力较弱、在光照不理想(如弱光照、侧强光)时所成的RGB图像质量差、识别对象不配合、识别姿态不理想等挑战。

此外,随着RGB-D图像分类的发展,RGB-D深度相机也开始普及,RGB-D人脸识别逐渐成为人脸识别的一个重要方法。RGB-D数据是介于2D数据和3D数据中间的,其不仅拥有2D数据完整的纹理信息,还包含3D模型的空间三维信息。[1]相比于2D、3D人脸识别,RGB-D人脸识别包含了深度数据,深度图是利用红外线获取的,理论上图像的获取不受光照变化的影响[2],而且深度信息在防伪方面具有内在优势,能够有效检测不满足人脸几何特点的伪造人脸。所以,利用深度图的RGB-D人脸识别可以很好的解决因光照条件不足引起的识别失败问题,具有更好的识别准确率。这也是我们利用深度数据来做人脸识别的一个很重要的原因。[2]如今,融合了深度信息的RGB-D人脸识别已经逐渐成为人脸识别领域的一个研究热点。

图1 RGB-D防伪人脸识别系统结构Fig.1 RGB-D anti-counterfeiting face recognition system structure

1 系统总体设计

本文提出的RGB-D防伪人脸识别系统可基于RGBD人脸识别技术进行安全、可靠、灵活、有效地人脸识别身份认证。系统主要由注册模块和识别模块两部分构成,其中注册模块将采集到的人脸RGB-D数据经处理后提取特征保存于云端的数据库中,供身份认证时使用。而识别模块则将身份认证现场采集到的人脸RGB-D数据的特征与数据库中保存的特征进行比对,以确定被识别者的身份。两个模块在采集到人脸RGB-D数据后均首先对人脸的真伪进行判别,如果是伪造人脸,则直接终止注册或认证。系统整体框架如图1所示。

1.1 数据采集

本系统利用Intel RealSense F200摄像头采集视频帧,它的主要工作是采集人脸的样本,从视频中将人脸图像检测并保存下来,从而为人脸识别提供素材资料。这是系统设计的第一步,人脸样本的质量对系统的性能有非常重要的影响,故这也是整个RGB-D防伪人脸识别系统最重要的一个步骤。

1.1.1 数据采集设备简介

Intel RealSense F200,是一款具有深度图像采集能力、支持室内外近距离使用的摄像头,它的硬件组成包括:1个IR camera、1个HD1080p camera、1个IR Laser projector。

它共有三个传感摄像头,左侧的为红外捕捉摄像头、中间的为RGB彩色摄像头、右边的为红外投影仪。其中,红外捕捉摄像头和红外投影仪的结合可以实现在黑暗及光照不足环境下获取稳定的外界深度信息,且识别准确率高、稳健性好。相对于微软Kinect的全身骨骼跟踪,Intel RealSense更注重近距离的脸部、手部的识别与追踪[3],更适用于多场景下RGB-D人脸识别。

1.1.2 RGB-D数据集

为了进行RGB-D 目标识别与场景分类研究,一些科研机构提供目标识别与场景分类的RGB-D测试数据集。[4]目前常见的RGB-D数据集主要包括:SUN RGB-D、RGB-D object Dataset、EURECOM、Curtinface、和IIIT-D等数据集。其中,有关人脸识别的RGB-D数据集较少;已有的RGB-D数据集通常为欧美面孔数据,缺乏亚洲面孔数据;往往存在深度图精度较低,边缘缺失、表面有漏洞等现象。

为了缓解这些问题并结合所处地区的地方特色,让RGB-D人脸识别技术得到更好的应用,我们利用RealSense F200在学生宿舍、工作室等地方进行了小规模的RGB-D信息采集,严格控制了环境变量的影响,建立了我们RGB-D数据集。它是由200名不同的人组成,拍摄了正面、侧面、仰面等多角度的图片,每个人的样本数量不一,最少6个样本,共计2500个样本。图2为同一个人不同条件下的RGB-D数据示例。第一排是 RGB图像,第二排是对应的深度图像。

1.2 数据预处理

本系统采用基于RGB图像的人脸检测和特征点定位算法对人脸RGB图像进行对齐,以使人脸位于图像中的特定位置,并缩放到指定大小。对于深度信息,首先在三维空间中对人脸姿态进行矫正,将人脸转换到正面姿态,然后再生成DAE图表示人脸的几何信息。DAE图(深度图)包含三个通道,其中D表示深度信息,A和E表示根据三维表面的法向量计算得到的方位角和仰角信息。

1.3 防伪检测

通过采集大量真实人脸的深度图{ D:|i=1,2,…,N},对真实人脸深度图进行空间建模,将得到真实人脸的深度空间模型{},其中为真实人脸的平均深度图,Djs为真实人脸空间的基向量,表示深度空间模型在真实人脸空间的表达系数。本系统假设真实人脸在上述空间中的表达系数符合高斯分布G,并根据训练样本估算出该分布的参数。当进行防伪操作时,首先将采集到的人脸深度图在上述空间中进行表达,按下式计算其表达误差:

图2 RGB-D数据集Fig.2 RGB-D data set

图3 系统人脸识别身份认证技术路线Fig.3 System face recognition and identity authentication technical route

与此同时,计算其表达系数满足前述高斯分布的概率p。如果表达误差小于指定的阈值,且概率值高于指定的阈值,则待识别人脸为真实人脸,通过防伪检测;否则,防伪检测失败,终止注册或认证。

1.4 身份识别

本系统采用深度卷积神经网络(DCNN)通过监督学习方法分别提取人脸RGB图和深度图的特征用于识别其身份。

对于一般的大规模图像分类问题,DCNN可用于构建层次型分类器(hierarchical classifier),而在精细分类识别(fine-grained recognition)中,亦可用于提取图像的判别特征以供其它分类器进行学习。

训练过程中,首先利用大量的人脸RGB图像训练提取RGB特征的DCNN,再利用人脸深度图像对训练好的DCNN进行微调训练,可以得到提取深度特征的DCNN。

本系统采取以下两种方法进行RGB图像和深度图像的特征融合(如图3),从而实现人脸识别:

(1)特征融合:利用DCNN分别提取出使用者的RGB特征和深度特征,并通过全连接层将二者进行融合,进而实现特征融合。其中,融合参数通过训练样本学习得到。

(2)相似度融合:首先将采集到的待识别人脸的RGB特征和深度特征分别与RGB-D人脸数据库中已注册人员的人脸特征进行比对,得到基于RGB特征的相似度和基于深度特征的相似度,再将所得相似度进行融合得到综合相似度,融合参数也通过训练样本学习得到。

2 系统设计创新点

(1)利用深度传感器采集的人脸几何信息提升人脸识别的安全性和易用性。本文系统通过对人脸几何信息的统计建模实现对伪造人脸的检测,可提升人脸识别系统的防伪能力。

(2)整合利用可见光图像和深度图,提升人脸识别的可靠性和识别准确率。本文系统通过深度学习融合人脸RGB图像和深度图像在人脸识别中的互补性,提升人脸识别系统在非理想条件(如弱光环境、非正面姿态)下的识别准确率。本文系统提出的方案为识别对象不配合、环境不可控情况下的人脸防伪识别提供了新思路。

(3)使用云服务器进行数据处理,购买Intel RealSense摄像头模组进行数据采集,降低硬件采购设备成本。相对于传统人脸识别系统硬件设备成本,本系统使用云服务器和Intel RealSense摄像头模组,可降低人脸识别系统的应用、部署成本,提高人脸识别系统的易用性和响应速度。

3 结语

本文提出的RGB-D防伪人脸识别系统,使用Real Sense F200传感器捕获人员信息,通过进行防伪检测,提取RGB图与Depth图的图像特征,与数据库中已存人员信息进行特征比对、相似度融合,从而实现具备防伪能力的人脸识别技术,有效地缓解基于普通可见光图像的人脸识别技术所面临的挑战,具有一定实用价值。目前,人脸识别依旧是一个充满挑战性的开放课题,本文提出的RGB-D人脸识别方法仍在着不可忽略的问题,如没有构建庞大的RGB-D数据集,训练出来的模型可能会在一些环境下存在识别误差,这也是未来RGB-D人脸识别大规模应用需要考虑的一个问题。