陈诚 丁亚杰 高辉 胥峥

摘要：针对在昏暗条件下传统的基于可见光的语义分割方法精度较差的问题，本文提出了一种红外可见光图像协同的弱光场景语义分割方法。首先在多源特征自适应融合的编码器中提取可见光与红外图像的对应特征，并输入到自适应特征融合模块中进行增强与融合。接着将多源特征分别馈送入解码器进行处理，输出可见光与红外图像的独立语义分割结果。最后将自适应融合多源特征的数据送入多源特征聚合模块，并与不同模态的特征进行聚合解码，输出融合多源特征的语义分割结果。实验结果表明，在弱光场景下，该方法具有良好的分割效果，并在PST900数据集下较其他方法有较为优异的性能。

关键词：语义分割;可见光图像;红外图像;特征融合;弱光场景

1 语义分割方法

为了结合可见光图像与热红外图像的特征，本文提出了一种基于编码器—解码器结构的红外可见光图像协同的弱光场景语义分割方法。网络的整体架构如图1所示，由三个部分组成：

1.1.两条用于提取对应模态特征的编码器网络及其对应的解码器网络。采用预训练完毕的Res2Net-50[5]网络作为主干网络，两条对应模态的编码器子网具有相同的主干网络，因此在五个卷积层上都能生成对应的特征。解码器网络结构与层级相同的编码器子网相对应，并能输出可见光与红外图像独立的语义分割结果。

1.2.一个包含集成各卷积层对应模态特征的自适应特征融合模块。……