郝天然

（中国联合网络通信有限公司徐州市分公司，江苏 徐州 221002）

1 研究背景

视频监控系统是我国智慧公安系统的重要组成部分，传统的监测场景下需要办公人员长时间目视监控视频，过程非常耗时且很大程度上存在漏检；并且，随着监测摄像机的大范围使用，监测数据量也呈几何倍率增加，人工监测方法无法满足在海量视频数据中搜索某一线索的公安需求。人脸识别是通过计算机程序对人员进行身份验证的方法，由于该技术的实时性和准确性，在安全监测领域得到了广泛研究和应用。人脸识别技术是基于人类面部生理特点进行识别的一种手段，通过电脑或者计算机程序直接提取图像中的人的面部特征，并根据这些特征对其进行身份认定，从而达到对相关人员进行监督、监测以及控制的目的[1]。随着深度学习方法的不断进步，基于深度学习的人脸识别技术得到了快速发展，嵌入人脸识别技术的视频监控系统已成为公安系统安防监控的重要组成。

在深度学习得到广泛应用前，研究人员主要通过设计面部特征提取方法来识别人脸，如最早由Bledsoe[2]等提出利用面部 器官间距离、比率等参 数作为特征，构建了一个半自动人脸识别系统；而后，麻省理工学院的Turk等提出了特征脸[3]（Eigenface），该方法成为后来多数特征表征算法的基准；另外，还有基于子空间分析的人脸识别算法Fisherface[4]，首先通过主成分分析PCA（Principal Component Analysis）降低脸部尺寸，然后使用线性判别分析LDA（Linear Discriminant Analysis）以期望获得类间差异大而类内差异小的线性子空间，但这种方法也因此无法对复杂的非线性模型进行表征。

基于模型的方法如主动外观模型AAMs（Active Appearance Models）[5]通过统计方法描述人类面部图像的形状及纹理，然后利用PCA综合两类特征对面部进行统计建模；另外，还包括SVD分解[6]、基于面部轮廓分析和匹配[7]以及隐马尔可夫模型（Hidden Markov Model）[8]等方法。

近年来，深度学习在人脸识别领域的应用越来越广泛，卷积网络已经能够提取更高级、更丰富、更易于识别的人脸特征，突破了传统特征如颜色、灰度能表示的极限。2014年，FaceBook科研团队提出的DeepFace算法[9]和香港中文大学团队提出的DeepID算法[10]在LFW上分别实现了97.35%和97.45%的平均分类精度；随后，牛津大学视觉组的VGGFace[11]将该精度提升到98.95%；但随后Google团队的FaceNet[12]将这一精度提高到了惊人的99.63%，这也标志着在LFW数据集上长达8年的性能竞赛的终结。目前，研究人员将研究重点放在了如何将网络训练得更好，因此损失函数优化的重要性不断提高，除了FaceNet提出的triplet loss，还提出了sphere loss[13]、cosine loss[14]和arc loss[15]等不同的损失函数。

人脸识别的主要途径是从人物面部图像中获取丰富、易识别的特征，来表征不同的人脸。而传统方法一般使用人工设计的特征，不能适应如今的大数据环境，尤其是在各种复杂的环境以及多样的人脸姿态条件下，用人工特征识别人脸的难度相当高。但随着深度学习算法的不断突破，研究者开发出了各种功能不一的网络，将合适的网络结合在一起，往往可以取得可观的成效。但只是一味的叠加网络，使得网络计算参数暴增，且容易出现难以收敛的情况，不仅使网络变慢，还使得识别和验证准确率下降，所以如何选择合适的网络融合是研究的重要方向。本文基于人脸识别技术，针对公安环境及人员姿态影响条件，将人脸识别与跟踪融合，实现对可疑人员的行踪溯源。

2 研究方法

本文通过计算机对视频监控序列进行人脸检测与跟踪，选择姿态最优的人脸特征与特定人员脸部特征进行识别，综合多方位摄像机视频信息，获得人员的行踪轨迹。如图1所示。

图1 多摄像机联动人脸识别跟踪系统

2.1 人脸检测

针对公安局室内复杂光照背景下算法易出现误检率较高的问题，本文利用人脸图像的色彩和灰度信息，采用肤色分割预选人脸区域实现人脸检测的前端优化。肤色是由生物特性决定的皮肤物理属性的一种外在表现，因此，肤色是人脸最为显著的特征。通过肤色信息可将人脸与环境背景区分开来。研究表明，尽管不同种族、年龄、性别的人脸肤色不同，但这种不同主要集中在亮度上，不同人脸的肤色分布在色度空间中具有聚类性。

HSV肤色分割首先利用采集到的图片数据库在HSV彩色空间建立初始的前期皮肤和背景直方图，求出各类的概率值，然后根据Bayes（贝叶斯）分类器对图像中的每个像素进行前景和背景判别，分割出人体肤色区域；然后通过形态学操作，对图像数据进行简化，保持图像数据的基本形状特征，去除不相干结构后利用图像区域划分方法的先验知识从分割区域中筛选出感兴趣区域；最后利用AdaBoost方法对人脸进行检测。

2.2 姿态优选

人脸姿态优选是指根据一幅二维图像计算出此人在三维空间中的面部朝向。在计算机视觉中，物体姿态是指其相对于相机的取向和位置，一般用旋转矩阵、旋转向量、四元数或欧拉角表示。通常来说，欧拉角可读性更好一些，所以常用欧拉角表示物体姿态。欧拉角包含3个角度：pitch、yaw、roll，这三个角度也称为姿态角。通过对三个姿态角的计算可确定一张人脸姿态是否为正向面对，以此选出同一人在一段时间内的相对最佳姿态。

由于姿态评估非常复杂，一般会占用大量的计算资源，若系统采用严格姿态估计来推断出人脸方向，则会影响系统整体运行效率。因此，本文采用一种不严格姿态估计方法，通过简单判断人脸左右旋转程度，对比人脸中心线与对称线之间的距离而实现，通过这种方法可有效简化姿态评估过程，减少评估过程中资源占用问题。通过对人脸图像姿态优选，选出人脸的相对最佳姿态图像，用于后续人脸识别，可以有效提升系统整体效率。

2.3 人脸跟踪

本文使用camshift算法对连续帧的中人脸位置进行跟踪，并针对公安局内特有环境中的干扰（遮挡、光照）以及多种人脸状 态条件等因素进行优化，通过设置连续帧中图像的边缘和背景产生的大面积改变作为对跟踪者目标条件的更新；利用一个目标跟踪框的表面积和大小等因素，来判断一个跟踪框在未来有无可能会出现发散作为其他一个可以更新跟踪目标的条件，当符合某个特殊更新的条件即立刻开始对人脸进行检测，利用这个更新的结果对其进行校正。

2.4 人脸识别

卷积神经网络不同的层次所关注的信息是不同的，Alex深度学习模型一共有96层卷积层（如图2所示），其可视化的特征图如图3所示。可以看出，卷积神经网络在前几层提取的是图像边缘等低级信息，不能很好地综合各层次信息，所以需要增强网络感受野。而Gabor小波变换与人眼视觉皮层细胞的感受野类似，具有尺度选择性、空间频率及方向选择性等，经常用于纹理识别方面。Gabor滤波器可以在频域中以不同尺度、不同方向提取相关的特征，将图像从空域转换到频域可以捕捉到空域上不易提取的特征，并且可提供良好的方向选择和尺度选择特性，用于提取输入图像的点、线等简单特征。因此，本文拟将Gabor滤波器引入卷积神经网络中以实现人脸识别。相比于其他网络，本文提出的网络简单清晰，同时不失准确度，更适应本公安系统对视频监控人脸识别实时性的要求。

图2 Alex深度学习模型

图3 Alex深度学习模型可视化的特征图

3 结束语

本文研究内容针对真实视频中人脸图像易受环境及姿态等因素影响的问题，研究面部图像特征的提取、分类方法，完成公安系统中可疑人员的智能搜寻；利用多摄像机协同、联动，按时间及方位追溯可疑人员的行踪轨迹。通过对现场采集的公安系统视频监控录像进行人脸识别测试，本研究方法取得了较好的识别效果，并能够确定所识别可疑人员的行踪，对于智慧公安的安防监控具有重要意义。