汪荣贵，王 静，杨 娟，薛丽霞

基于红外和可见光模态的随机融合特征金子塔行人重识别

汪荣贵，王 静，杨 娟*，薛丽霞

合肥工业大学计算机与信息学院，安徽 合肥 230009

目前行人重识别的研究只关注了可见光下跨摄像头提取图像不变的特征表示，忽视了红外条件下的成像特点，并结合两种模态的研究成果很少。此外，当前行人重识别在判别两个图像时，通常是计算单个卷积层特征图的相似性，这会导致弱特征学习现象。为了解决上述问题，本文提出了基于特征金字塔的随机融合网络，它可以同时计算多个特征层级的相似性，匹配图像时是基于多个语义层的判别因子。该模型关注到红外图像的特性，并且缩小了可见光和红外模态内部负作用的偏差，平衡了模态间的异质差距，综合了局部特征和全局特征学习的优势，有效地解决了跨模态行人重识别问题。实验在SYSU-MM01数据集上对平均精确度和收敛速度进行验证。结果表明，所提的模型优于现有的先进算法，特征金字塔随机融合网络实现了快速收敛且平均精确度达到了32.12%。

行人重识别；可见光；红外；特征金字塔

1 引 言

传统可见光的监控摄像头已经不适应于一般场合，例如道路交通、监狱等场景都需要24小时监控。目前很多监控系统和智能设备配置了可见光到红外模式自动切换功能[1]，基于可见光模式的行人重识别在Market1501数据集[2]下rank-1已经达到了95%[3]，而基于红外(IR)模式的行人重识别，由于红外图像低分辨率和低对比度等问题，使得目前研究成果很少[4-6]。……