陈 莹，朱 宇

（江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122）

1 引 言

行人检测是自动驾驶、智能视频监控等领域的核心技术，要求能适应全天候及各种场景的变换。传统行人检测的输入源是可见光模态，可见光图像在光照充足的情况下，能提供丰富的视觉信息，一旦环境改变，提供的视觉信息会非常有限，所以传统的行人检测极易受到不良光照及恶劣天气的影响。为了解决这一问题，一种能同时应用红外和可见光两种模态信息的多光谱行人检测技术应运而生。红外模态作为多光谱行人检测的另一输入源，其使用红外成像技术提供的红外图片在黑暗条件下可以较好地显示出人体，弥补可见光模态的不足，但通常在光照较好时，其表现力不如可见光图片，因此这种动态变化要求检测过程中能够有效地融合利用多模态信息。

近年来，针对多光谱行人检测中的多模态信息融合问题，文献［1］研究了卷积神经网络不同融合时期（前期，中间，后期）以及同一融合方法直接堆叠对实验结果的影响，得出利用中间层特征直接堆叠策略可以最大限度地整合红外和可见光信息。Konig 等［2］使用Faster R-CNN 框架［3］中的区域建议生成网络和随机森林算法协同完成检测，采用文献［1］的融合方式，但在后续训练中同时使用到融合后的特征层以及原始双流的两模态特征层。文献［4］采用一种新型无监督行人检测方式，在特征融合部分沿用特征堆叠策略。……