胡 晓，廖启欣，彭绍湖

（广州大学机械与电气工程学院，广东广州 510006）

单训练样本视频监控俯视人脸识别研究

胡 晓，廖启欣，彭绍湖

（广州大学机械与电气工程学院，广东广州 510006）

近年来视频监控已普遍应用于各行各业，因此基于监控视频人脸识别也成为了智能监控系统中重要的研究领域.然而，由于监控视频人脸通常是非正面人脸，传统性能优良算法应用于视频人脸识别时，其性能也明显降低.同时，单张训练人脸问题在监控视频人脸检测和识别是一个普遍问题.因此为了能有效地提高单训练多姿态人脸识别的正确识别率，文章提出了一种基于三维建模技术的人脸识别算法.该算法先由一张二维高清正面人脸生成一个三维人脸模型，然后再进一步在该三维人脸空间里产生多种姿态的人脸模型，并由此获得多张相应姿态下的二维虚拟人脸，最后利用原始正面样本和所得到的虚拟人脸来构筑训练人脸库.该算法用SCface视频监控人脸库中加以验证，与传统的PCA和LDA算法相比，该算法对监控视频人脸的识别率提高了13%.由此表明，文章介绍的算法是一种有效的人脸识别算法，能有效地提高对俯视人脸的识别率.

三维建模；单训练样本；视频监控；PCA；LDA

视频监控作为安全防范系统的重要组成部分，已被广泛应用于区域防盗、公安侦破、日常监控等领域当中.随着对安保需求的不断提高，具备能在对象不知情的情况下进行人脸识别的智能视频监控将是未来的发展趋势.然而，视频监控环境条件复杂，通常带有图像分辨率低、光照变化、姿态不可控等条件影响，这使得视频监控人脸识别变得困难.对于多姿态问题，因为视频监控摄像头一般被固定在距离地面2～3 m的位置，当人距离摄像头垂直距离较远时，人脸较小，但当距离近时，却是俯视的角度，摄像头所捕捉到的人脸图像也不再是正面人脸.针对这个问题，WANG等［1］提出了一种基于ASM构建的算法实现姿态不变性，HASAN等［2］则利用了不同颜色通道的概率分布函数算法实现多姿态下的人脸识别.

除此之外，由于实际应用中通常每一个人只有一张采集于公安居民户口系统的高分辨率训练图像，因此已经相当完善的多组训练人脸识别算法并不适用，所以如何解决单一训练样本的难题就成了人脸识别的一个关键.在此之前，HU等提出了一种不同角度水平旋转的单一样本变多样本的方法［3］.XU等提出了基于对称人脸的镜像算法来获得多个样本［4］.这些算法对正面测试人脸有良好的性能，然而在视频监控中，由于监控摄像头通常安装在高处，以至于在测试人脸中存在许多俯视人脸，其结果导致上述算法性能降低.

为此，本文利用3D建模技术从单张高清正面人脸构建虚拟的俯视人脸用来训练分类器，以提高视频人脸识别系统对俯视人脸的鲁棒性.

1 三维技术构建虚拟训练样本算法流程

摄像头采集图像时，现实的三维空间中任意一个曲面都会最终投影到与之相对应的二维图像里，对于平行曲面上的无数点都将会重叠映射在二维图像的同一个位置点，从而构成一组画面.实际上通过摄像头将三维空间投影到二维图像是一种多对一的映射关系［5］.因此，在摄像头定标后由已知三维点可以求得二维图像中唯一的对应点.但与此相反，已知二维图像中的一个点要得到其三维空间中对应点的位置就成了一对多的关系，这时就必须还要知道三维空间点间的一个曲面关系才可以确定其唯一的对应点.

三维技术构建虚拟训练样本算法是由一张已知的二维正面人脸图像通过三维构建的方法，将二维图像变换到三维空间中，从而形成三维人脸模型，然后在此基础上产生不同姿态下的人脸模型，从而获得与之相对应的不同姿态二维人脸图像.3D建模算法和流程见图1.本文采用名为FaceGen Modeller的3D建模软件（http：／／facegen. com／products.htm）实现由2D人脸建模成3D人脸.其关键步骤分为3步：①特征点标注、3D人脸模型的选择和纹理粘贴.当输入一张2D人脸时，通过手工方式标注11个特征点，它们是两只眼睛中心、鼻翼两边、耳朵的垂直中心与脸颊的交接处各1点、2个嘴角处、脖子（位于脖子和脸颊连接点）和下巴（脸部最下面的边缘点）；②从3D人脸模型库中选择一个与该对象在年龄、性别等属性上相符的3D人脸网格模型；③将2D纹理特征依据11个特征点的坐标关系粘贴到3D人脸模型上形成3D人脸，最终得到对应的二维虚拟人脸图像，见图2.

图1 三维技术构建虚拟训练样本算法Fig.1 Algorithm to create more virtual training sample

图2 图像预处理Fig.2 Example image after pre-processing

2 实 验

本文使用SCface视频监控人脸数据库图像进行实验［6］.该数据库中，一共有130个人，人距离视频监控摄像头的垂直距离有3种，它们分别是4.2 m、2.6 m和1.0 m，而5个视频监控摄像头距离地面的高度均为2.25 m.本次实验是基于4G内存的32位Win7操作系统配AMD Phenom（tm）II X4 965 3.4GHz处理器的平台上，用MATLAB 2010b完成的.

2.1 图像预处理

为了减少摄像时训练和测试人脸双眼不一致造成的影响，所有图像都经过旋转归一化处理.首先，将彩色图像转换为灰度图像.然后以双眼坐标为基准线进行旋转整个人脸图像，使得双眼在同一条水平线上，见图2（a）.随后采用双椭圆模板构建的人脸图像分割框对照片中的人脸进行分割，见图2（b）.接下来，将分割出来的人脸经过缩放大小为64×64图像，控制双眼距离为32个像素，而且规定左眼坐标为（16，16）和右眼坐标为（16，48）.最后为了减少光照差异性带来的影响，将图像经过直方图均衡化处理，并将像素值归一化到［0，255］范围之内.预处理后的图像见图2（c）.

2.2 实验方案

本实验采用了SCface视频监控人脸数据库中的高清正面人脸作为单一训练样本，利用每人一张的高清正面人脸图像，对130个人的人脸进行了三维技术建模，然后由模型获得3张不同姿态的人脸图像和原始正面样本结合作为训练集，见图3.图3（a）表示每个人用来训练的人脸只有1张高清人脸.图3（b）表示每个人用来训练的人脸由1张高清人脸和1张俯视低角度虚拟人脸组成.图3（c）表示每个人用来训练的人脸由1张高清人脸和2张俯视低角度虚拟人脸组成.

同时，使用数据库中3种距离的5个视频监控头采集到的人脸图像作为测试集，见图4.所有图像经过预处理后分别使用PCA和LDA方法进行识别.

2.3 实验结果

图3 训练人脸图像Fig.3 Example of gallery set

实验结果见图5，①3种情况下（分别是1张训练样本、2张训练样本和3张训练样本）本文所提出的基于虚拟俯视人脸的PCA算法获得的结果比文献［6］中使用PCA得到的结果都要高，提高了13%；②LDA比PCA所得到的识别效果好；③随着虚拟训练样本图像数目的增加，正确识别率也随之升高.另一方面，监控人与摄像头之间距离2.60 m的情况下比其他两种距离都获得更好的识别结果，分析其原由存在2个方面：①在该距离监控下的人脸在监控摄像头的成像俯视角度不大，接近于正面人脸，为此获得正面信息较多；②该距离相对于4.2 m，成像的空间分辨率较高.

图4 测试人脸图像［6］Fig.4 Example of probe set［6］

图5 实验结果的正确识别率Fig.5 The experimental results of correct recognition rate

3 结 论

在人脸识别领域，很多传统的人脸识别算法在多训练样本下能够获得高性能，然而单张训练样本在视频监控领域是一种常见现象［7］.尽管采用3D建模技术将2D人脸建模成3D人脸，然后获取不同姿态的人脸以增加训练样本的数目，然而这种技术目前仅局限用在高清人脸识别研究中，在视频监控人脸识别研究中尚未发现有应用，尤其是针对俯视人脸［8－10］.为此，本文介绍了一种利用三维建模技术来构造多虚拟俯视训练样本的算法.从实验结果可以发现：这种算法能够提高视频人脸识别中俯视人脸的识别率，本文实验有13%的提高，是一种解决视频监控人脸识别中单训练样本的有效方法.

参考文献：

［1］ WANG Y，WU L F，TU L，et al.A face recognition method robust to pose variation［C］∥9th Internation Conference on Signal Proceeding，2008：1600-1603.

［2］ HASAN D，ANBARJAFARI G.Pose invariant face recognition using probability distribution functions in different color channels［J］.Sign Proc Lett IEEE，2008，25：537-540.

［3］ HU X，YU W X，YA0J.Multi-oriented 2DPCA for face recognition with one training face image per person［J］.J Comput Inform Syst，2010，6（5）：1563-1570.

［4］ XU Y，LI X L，YANG J，et al.Integrate the original face image and its mirror image for face recognition［J］.Neurocomputing，2014，131：191-199.

［5］ ZHANG Z.A fexible new technique for camera calibration［J］.IEEE Transact Patt Anal Mach Intell，2000，22（11）：1330-1334.

［6］ MISLAV GRGIC，KRESIMIR D，SONJA G.SCface-surveillance cameras face database［J］.Multimed Tools Appl，2011，51：863-879.

［7］ HU X，PENG S H，YAN J Y，et al.Fast face detection based on skin color segmentation using single chrominance Cr［C］∥The 2014 7th International Congress on Image and Signal Processing，2014：789-794.

［8］ HU X，YU W X，YA0J.Face recognition using binary structure-based feature selection［J］.J Appl Sci，2010，28（3）：271-275.

［9］ MODEL V B，THOMAS V.Face recognition based on fitting a 3D morphable［J］.IEEE Transact Patt Anal Mach Intell，2003，9（25）：1063-1074.

［10］ALI M，HOSSEIN M，KARIM F.Real-time pose-invariant face recognition by triplet pose sparse matrix from only a single image［C］∥International Conference on Pattern Recognition（ICPR），2014：465-470.

Video surveillance face recognition by single training sample

HU Xiao，LIA0Qi-xin，PENG Shao-hu
（School of Mechanical Electrical Engineering，Guangzhou University，Guangzhou 510006，China）

Video surveillance has more and more been applied in recent years for security，video-based face recognition therefore became an important task in intelligence monitoring system.However，among these captured video faces there are many non-frontal faces.As a result the art of state algorithms would become worse. On the other hand，only one training sample could usually be got.In order to effectively improve the correct recognition rate of multi-pose face recognition with single frontal training sample，this paper proposed a face recognition algorithm based on 3D modelling.In the proposed algorithm，firstly a 2D frontal face with high-resolution was taken to build a 3D face model，and then several virtual faces with different poses were produced from the 3D face model.At last，both the original frontal face image and virtual face images were put into gallery set. The algorithm was evaluated on SCface database using traditional PCA and LDA methods.The result showed that the proposed approach could effectively improve recognition rate of looking-down faces.

3D modeling；single training sample；video surveillance；PCA；LDA

TP 391.41

A

【责任编辑：陈 钢】

1671-4229（2015）05-0067-04

2015－06－17；

2015－09－06

广东省自然科学基金资助项目（S2013010013511）；广州市科技计划资助项目（2014J4100127）

胡 晓（1969－），男，教授，博士.E-mail：huxiao＠gzhu.edu.cn