王铖东

(四川大学计算机学院，成都610065)

0 引言

人脸识别是一项匹配同一个人面部图像的任务，随着深度学习的出现，该问题发展迅速。通过深度卷积神经网络的多个隐藏层提取的特征包含有代表性的信息，可以有效地区分不同个体[1]。随着人脸识别问题的发展，研究者们开始关注于其中更富有挑战性的问题：如姿态、光照、表情、年龄等的人脸识别问题[2-3]。与上述问题不一样的是，跨模态人脸识别用于比对识别的人脸图像差异更大，且目前的跨模态人脸识别相关的数据集规模小，为识别带来了巨大的困难。

跨模态人脸识别的目的是识别数据分布或外观差异较大的不同模态人脸图像[4]。常见的如：近红外光与可见光、远红外光与可见光、素描与照片、正面与侧面，低分辨率与高分辨率的人脸识别等问题都是跨模态人脸识别问题。跨模态人脸识别问题主要应用于安防、刑侦等场所。最为典型的应用场景是：安防部门系统库里的人脸图像是质量良好的可见光图像，而监控所拍摄得到的图像相对而言质量差，且有很多夜间拍摄的近红外图像。受制于数据模态间的巨大差异，已有的人脸识别模型准确率下降显著。

跨模态人脸识别问题的主要难点在于两点。一是不同模态下的数据差异大，也可以说是数据分布的差异大，而这种差异很可能会导致类内距离超过类间距离。因此，如何有效减少这种数据分布上的差异是跨模态人脸识别问题面临的主要难点之一。……