王怀斌 王海涛 高凌飞 张鲁洋 王海龙

摘 要：无约束场景下，低质量的人脸图像不仅浪费计算资源而且降低系统识别率。针对此问题，提出一种基于人脸识别的人脸质量评估方法对人脸图像进行预评估。以人脸识别系统特征提取网络为基础网络在COX数据集上进行微调，并使用微调后网络对COX数据集进行质量分数标定。最后，结合基础网络及质量预测网络并以相应损失函数在标定数据上进行回归学习以获取质量评估模型。实验结果表明，该方法能够有效区分不同质量的人脸图像并提升人脸识别系统性能。

关键词：人脸质量评估;质量标定;人脸图像;人脸识别

Abstract：In unconstrained scenarios， low quality face images not only waste computing resources but also reduce the recognition rate of the system. To solve this problem， a face quality assessment method based on face recognition is proposed to pre-evaluate face images. The feature extraction network in the face recognition system is used as the basic network and the COX dataset is fine-tuned. Then the COX dataset is annotated with the quality score by the fine-tuned network. Finally， the basic network and the quality prediction network are combined and the corresponding loss function is used to conduct regression learning on the labeled data to obtain the quality evaluation model. Experimental results show that this method can effectively distinguish different quality face images and improve the performance of face recognition system.

Key words：face quality assessment; quality calibration; face image; face recognition

目前人臉识别系统已广泛的应用在生产生活当中，其准确率和可靠性越来越高。但是，在监控等一些无约束的场景下，人脸识别系统往往需要处理一些无效的低质量人脸图像。这势必浪费部分计算资源对这些检测到的无效人脸图像进行人脸识别系统相关处理。特别是当人脸底库较大时，这一过程耗费计算资源较多。因此，通过对人脸识别系统的输入图像进行预先的评估审查，有利于提升人脸识别系统的计算效率。

截至目前，对人脸图像的质量评估已有诸多研究，根据技术发展可主要分为基于深度学习的和非深度学习的，其中基于深度学习的FQA算法主要在2015年后开始出现并于最近占据主导地位[1]。传统的非深度学习方法主要通过多因素融合和全局学习的方法进行质量评估。例如，Nasrollahi等人根据姿态、亮度、分辨率等分别进行质量评分，最后进行加权融合获得整体质量分数[2]。Liao等人使用Gabor滤波器的量值作为特征值，通过训练支持向量机（SVM）来预测质量标签[3]。基于深度学习的FQA论文主要发表于2019年和2020年[1]。这些研究类似于使用全局学习的非深度学习方法，不同的是特征提取器往往是复杂的深度网络，例如文献[4]、[5]和[11]依次使用AlexNet、GoogleNet以及SqueezeNet作为主干网络。

上述研究使得人脸图像质量的评估误差逐步降低，但是这些方法均关注于将质量评估效果与人类视觉评估相关。不同于这些工作，基于人脸识别的质量评估方法致力于质量评估服务于人脸识别系统，进而提升其运行效率。一般而言，基于人类视觉的质量评分与人脸识别效果正相关，但对部分人脸不能适用。因此，设计了一种可嵌入并适应不同人脸识别系统的质量评估方法用以提升人脸识别系统性能。

1 结合人脸识别的质量分数标定方法

质量评估模块基于有监督的学习方法在COX数据集上进行训练，需要训练所需图像的质量标签作为监督信号。而COX数据集是为评估人脸识别而收集的数据集，只有所属身份的类别信息[6]。因此，首先进行质量分数标定以获取与人脸识别系统性能相关的质量分数。

2 质量评估网络

2.1 网络架构及基础特征提取网络

质量评估网络基于人脸识别系统中特征提取网络实现，图3为质量评估网路架构及训练/测试示意图。如图所示，提出的质量评估网络主要分为两部分，即基础特征提取网络和质量回归预测两部分。具体而言，在实验部分所使用的人脸识别系统使用特征提取网络为ResNet-101[7]，因此所有涉及特征提取的网络均使用此网络实现并保证模型参数相同，即质量标定、人脸识别系统以及质量评估网络中的特征提取模型为同一模型。

3 实验与分析

3.1 实验设置

实验在ubuntu16.04环境下基于python语言和tensorflow框架实现。主要硬件配置包括2.4 GHz CPU和64 GB RAM，在此基础上使用了2块英伟达1080TI加速训练。对第一阶段基础特征提取网络的微调遵循文献[8]的设置。对第二阶段的质量预测网络的主要超参数配置为：优化方法使用Adam，学习率为0.0001，batchsize为512;损失函数参数设置为：γ=1.6，μ=0.5。

3.2 人脸图像质量评估实验

真实监控环境下低质量人脸图像的产生原因主要是运动模糊、对焦模糊以及姿态变化。使用基准图像模拟生成不同程度的运动、对焦模糊导致的低质量图像，另外选取一组姿态变化较大的监控视频人脸序列进行质量评估。图4展示了不同质量人脸图像的相关数值结果，其中包括待评估图像与基准图像距离、标定分数、文献[9，10]中方法评估值以及所述质量评估方法评估值。

由图4中数值结果可知，质量预测网络在除标定分数较高或较低外的图像上产生的质量分数基本与标定分数相一致。另外，对比同一个人的不同质量图像可知，低质量的图像具有更低的分数，反之，高质量图像质量分数相对较高。对比最新的文献[9]、[10]中方法，质量预测网络预测值具有更高的区分度。例如在运动模糊导致的低质量图像的评估中，质量预测网络预测值在质量最优和最差的图像上的分布区间更大，质量区分度更高（文獻[9]：0.61-0.49;文献[10]：0.61-0.43;质量预测网络：0.73-0.37）。

为进一步说明提出的质量预测网络具有更优的性能，在COX数据集测试集（122709张人脸图像）上进行了质量分数统计，图5为标定分数、文献[9，10]以及质量预测网络预测的质量分数分布直方图。由图示可知，标定分数在（0，1）区间内近似呈以期望值为0.5的正态分布。三种质量评估方法中，相比标定分数的分布，文献[10]获得的质量分数整体较低，文献[9]获取的质量分数整体较高但更为集中，而所述质量评估方法获取的质量分数的分布更为接近标定分数的分布。因此，从质量分数分布来看，相较对比方法，质量预测网络对人脸质量的评估分布更为合理，预测的质量分数与人脸识别系统相关度更高。

3.3 质量评估对人脸识别系统的性能影响

鉴于提出的质量评估方法目的在于提升人脸识别系统的性能，因此评估了加入质量预测网络后对人脸识别系统的性能影响。质量评估模块的负面影响主要在于部分可被人脸识别系统正确识别的人脸图像被错误的拒绝，因此引入FNMR（False non-match rate）指标进行衡量，FNMR指标即被质量评估模块拒绝的样本中可被正确识别的样本占被拒绝样本的比率。图6为质量模块在不同拒绝率下的FNMR，从标定分数及三种方法的曲线变化可以看出，随拒绝率的升高，FNMR逐步增加。对比其他方法，所述质量评估方法更接近标定分数下的变化趋势，且在几乎全部拒绝率下质量评估方法的FNMR值均小于最新的文献[9，10]中方法。

4 结 论

提出了一种基于人脸识别的监控视频中人脸图像质量评估方法。不同于其他质量评估方法，提出的评估方法旨在与人脸识别系统具有较高的相关度，能够对人脸识别系统的输入图像进行预评估，进而提升人脸识别系统效率。基于此目的，首先使用人脸识别系统在训练集进行微调后获得基础特征提取模型，然后以此模型对训练数据集进行标定，构建新的用于质量评估的数据集，最后通过使用精心设计的回归网络及损失函数在此数据集上进行回归训练获取质量预测模型。实验结果表明，基于人脸识别的质量评估方法能够准确的评估人脸图像并有助于提升通用人脸识别系统性能。

参考文献

[1] SCHLETT T， RATHGEB C， HENNIGER O， et al. Face image quality assessment： a literature survey[J]. arXiv preprint arXiv：2009.01103， 2020.

[2] NASROLLAHI K， MOESLUND T. B. Extracting a good quality frontal face image from a low-resolution video sequence[J]// IEEE Trans. on Circuits and Systems for Video Technology （TCSVT）， 2011.

[3] LIAO P， LIN H， ZENG P， et al. Facial image quality assessment based on support vector machines[C]// International Conference on Biomedical Engineering & Biotechnology. IEEE Computer Society， 2012.

[4] ROSE J， BOURLAI T. Deep learning based estimation of facial attributes on challenging mobile phone face datasets[C]// ASONAM '19： International Conference on Advances in Social Networks Analysis and Mining，2019.

[5] YANG F， SHAO X， ZHANG L， et al. DFQA： deep face image quality assessment[M]// Image and Graphics. 2019.

[6] HUANG Z， SHAN S， WANG R， et al. A benchmark and comparative study of video-based face recognition on COX face database[J]. IEEE Transactions on Image Processing， 2015， 24（12）：5967-5981.

[7] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.

[8] DENG J， GUO J， XUE N ，et al. Arcface： additive angular margin loss for deep face recognition[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2019.

[9] HERNANDEZ-ORTEGA J， GALBALLY J， FIERREZ J， et al. FaceQnet： quality assessment for face recognition based on deep learning[C]// 2019 International Conference on Biometrics （ICB）. IEEE， 2020.

[10]HERNANDEZ-ORTEGA J， GALBALLY J， FIERREZ J， et al. Biometric quality： review and application to face recognition with faceQnet[J]. arXiv preprint arXiv：2006.03298， 2020.

[11]ROSE J， BOURLAI T. On designing a forensic toolkit for rapid detection of factors that impact face recognition performance when processing large scale face datasets[M]// Securing Social Identity in Mobile Platforms. Berlin：Springer， 2020.