基于GAN的红外与可见光图像融合算法

2021-08-06周祎楠杨晓敏

现代计算机 2021年16期

周祎楠，杨晓敏

(四川大学电子信息学院，成都610065)

0 引言

图像融合是利用多个传感器的信息，对采集到的图像进行融合，得到最终融合结果的后处理过程。红外图像的融合通常是在可见光和可见光两个领域进行的。红外图像是由红外传感器捕获的图像。它们的特点是全天候条件下的热信息强度不同。与红外相比，可见光图像(VIS)是由光学相机拍摄的图像，对光照条件的依赖性很强。它们携带着不同传感器捕捉到的不同信息，因此融合它们试图在融合结果中保持尽可能多的信息特征。

近几十年来，红外与可见光图像融合已经从传统的方法发展到基于学习的方法。最常用的方法可归纳为以下步骤。首先，他们使用特定的滤波器/变换来分解源图像。其次，采用相应的融合规则对不同层次的特征进行融合。最后对图像进行重建，得到融合结果。交叉双边滤波器(CBF)[1]和加权最小二乘(WLS)[2]滤波器是图像融合中处理边缘和细节的主要方法。他们应用一定的滤波器来分解源图像。然后，分别使用平均融合规则和最大绝对融合规则从不同的尺度生成融合结果。然而，红外与可见光图像融合的一个关键问题是融合规则的设计。也就是说，如何处理不同来源图像的信息，对融合结果有着重要的影响。例如，平均规则认为IR和VIS的信息同样重要。它广泛应用于背景信息的融合。最大绝对规则选择最重要的信息作为融合结果。它通常用于融合细节和纹理。一般来说，这些规则对无法处理对象的像素强度敏感。在探测任务中，目标是非常重要的，它在红外图像中非常突出。在我们看来，对于物体突出的区域，红外图像比可见光图像信息量大得多。综上所述，这种纯常规方法的缺陷是双重的。首先，滤波器/变换和融合规则必须预先设计，并且高度依赖设计者的先验知识。其次，这些方法不能单独处理红外图像中的显著区域(如图1所示)。因此，必须有一种方法来提取红外图像的显著区域，并将这些关键信息保存起来。目前，单纯的传统滤波方法已经达到了极限，人们对自适应融合方法的要求也越来越高。

可见光(VIS)和红外(IR)图像融合为决策提供了方便。对于侦查任务，以士兵为目标，例如，即使在夜间黑暗或恶劣的天气条件下，由于他们在红外中携带热量，士兵也完全突出。与之相比，可见光图像(VIS)对光照条件的依赖性很强，由于夜间VIS的光照条件较差，士兵被隐藏在黑暗中。然而，视觉系统反映了许多细节和纹理，这也有助于许多侦探任务。在这种情况下，我们提出在融合过程中提取红外图像中的显著目标并对其进行有目的的保存，将在很大程度上有利于融合的结果。这是因为在这些显著区域中，红外图像比可见光图像更具信息性和关键性，我们的方法可以分别处理这些区域(如图1所示)。因此，有必要利用这些不同类型的源图像，生成信息丰富的融合图像，以便于决策。

图1 红外图像的显著性区域

综合上述因素，本文提出了一种新的生成对抗网络，在融合过程中保留红外图像中重要的显著区域，并得到更好的融合结果。

1 算法实现

1.1 算法描述

在本节中，我们将详细介绍我们的融合方法。整个融合过程如图2所示。

图2 融合过程

我们的GAN融合方法由三个主要部分组成：VSM过程、发生器和鉴别器。在GAN中，红外和可见光图像融合可以看作是一个对抗性的问题。VSM过程输出显著信息图像，使得GAN能够分别处理显著区域。生成器根据源图像输出预融合图像并满足基于给定准则的鉴别器，鉴别器尝试区分给定图像是预融合图像还是可见图像。此外，生成器收集源图像的全部信息，鉴别器通过对抗过程辅助融合更多细节。在我们看来，发生器和鉴别器的过程都在做图像融合的工作。

基于直方图对比度的视觉显著性图算法VSM首先由Cheng等人[3]提出。它计算了可见光图像的整体对比度差和空间相干性，得到了较好的显著性结果。可见光图像的显著性结果和红外图像的显著性结果在物理上有很大的共同点，这是基于以下事实：两种源图像的显著性区域在某一通道上具有高强度(对于RGB，它们有三个通道)，它们与背景的对比度很高，通常描绘一个明显的物体。然而，在可见光和红外光谱之间是有区别的。在处理可见光图像的原始VSM中，采用平滑和平均运算来细化显著性结果。但在我们看来，这些操作并不适合于处理红外图像中的显著区域，因为这些操作会对边缘造成很大的破坏，并且会削弱图像的强度。我们进一步去除这些操作，使不确定像素只对其原始强度敏感。因此，利用该方法计算红外图像的显著区域是合理和可行的。

1.2 网络模型介绍

在VSM过程中，首先通过评估整体对比度差异和像素级加权连续性得分将红外图像转换为显著性图。然后根据红外图像的强度，利用显著性映射提取红外图像的显著信息。最后，将显著信息反馈给发生器，以保持融合图像中的显著区域[3]。

在生成过程中，发生器根据红外、可见光和显著信息输出预融合结果。这个过程可以看作是一个融合的过程，因为它将多源图像结合起来，生成一个基本的融合图像。预判结果不理想，需要在鉴别器中进行修饰。也就是说，生成器是一台生产机器，它的输入是可见光、红外和显著信息。GAN生成器由五组模块组成，如图1所示。在第一组和第二组模块中，我们应用了5×5卷积层、BatchNorm操作和ReLU函数。在第三组和第四组模块中，我们应用了3×3卷积层、BatchNorm操作和ReLU函数。在最后一组模块中，我们使用1×1卷积层和tanh激活层来输出预融合图像。

在鉴别过程中，鉴别器输出预测的标签，计算预融合图像与可见光图像之间的损失。这个过程可以看作是一个融合过程，因为它试图最小化预融合图像和可见光图像之间的差异。我们采用最小二乘损失函数作为损失函数，对预融合图像和可见光图像进行约束，从而融合出丰富的可见光信息。换句话说，鉴别器被设置成区分预融合图像和可见光图像之间的差异，直到可以忽略差异为止。GAN的鉴别器由五组模块组成，如图1所示。在第一组模块中，我们应用了3×3卷积层和ReLU函数。从第二组到第四组模块，我们应用了3×3卷积层、BatchNorm操作和ReLU函数。在最后一组模块中，我们应用一个线性层来输出预测的标签。

对于常见的基于学习的网络，下采样和上采样操作被广泛地用于促进训练过程。然而，在图像融合领域，我们认为这些操作并不能令人满意，因为它们丢弃了源图像的关键信息。因此，在我们的网络中，步长被设置为1，并且不应用下采样或上采样操作。此外，为了避免消失梯度这一关键问题，我们在生成器和鉴别器中采用了BatchNorm操作。

红外原始图像和可见光原始图像的分辨率不同是一个值得注意的事实。由于不同传感器的特性，红外图像的分辨率较低，而可见光图像的分辨率较高。为了解决这个问题，我们对红外图像进行了采样。随后，我们将红外和可见光图像的大小调整为512×512的比例，作为优化的图像对。最后，我们将每个图像的跨距设置为14，以裁剪足够的数据。这样，我们就可以产生大量的红外和可见光数据集以训练本文网络。

2 实验结果

为了验证我们所提出的算法的有效性和有效性，我们选取了六对典型的图像对进行主观评价，这六对图像对在可见光和红外图像融合中被广泛应用。实验结果如图3所示。

图3 图像融合结果

实验结果可以看出，作为对比的方法简单易行，不能保留原有的显著区域。这是因为它每次从可见光图像中迭代学习，显著区域的边缘和强度都会受到越来越多的约束。为此，在GAN中引入VSM过程并提取显著区域是非常必要的。然而，我们基于GAN的方法解决了这个问题，成功地保存了丰富的热信息。以B列的直升机为例，其他算法无法保持边缘尖锐的突出物体，这将导致在某些计算机视觉任务中分类效果不理想。相比之下，本文算法成功地保留了显著信息，这将大大有利于分类任务。