张 帅,谢志华,牛杰一,李 毅

(江西科技师范大学,江西省光电子与通信重点实验室,江西 南昌 330031)

随着应用场景的不断更新,市场上待识别图像的模态已经不仅仅局限于可见光波段. 近红外人脸图像、热红外人脸图像、素描人像等双模态或者多模态的异质人脸识别问题成为人脸识别的研究热点之一[1]. 异质人脸识别最大的挑战主要有两点[2]:第一,其他模态的已标注人脸图像相较于可见光模态人脸图像来说规模太小,而且现有的异质人脸图像库也不足;第二,不同模态图像之间存在巨大的模态鸿沟,具体的模态差异如图1中的近红外和可见光人脸图像的t-SNE(t distribution-stochastic neighbor embedding)成分分布所示,其中,‘+’表示近红外数据,‘o’表示可见光数据,不同的数字代表不同的类别. 近年来,基于深度学习方法的近红外与可见光异质人脸识别方法,以双模态图像对作为输入,利用两个模态标签来提取“具有模态不变性”的特征,或学习“公共子空间”来缩小模态间的差异. 文献[1-2]尝试将在大规模可见光数据集学习到的先验知识迁移到近红外人脸图像上,在可见光人脸数据集上预先训练一个CNN网络,通过精调将CNN网络迁移到近红外域. He等[3]将CNN和子空间学习结合起来,在大规模的可见光数据集上训练网络底层的CNN网络,将网络高层分成3个部分,分别用于提取特征模态的特征和具有模态不变性的子空间映射共享特征. Reale等[4]训练了两个网络,一个用于可见光图像的VISNet,另一个用于近红……