陆万顺，常莉红，冯福存 ，罗徽，陈新

(1.宁夏师范学院 数学与计算机科学学院， 宁夏 固原 756000；2.广西大学 数学与信息科学学院， 广西 南宁 530004)

0 引言

近年来，图像融合逐渐成为研究的热点[1-2]。随着成像技术的发展，由于成本的降低，人们可以获取大量的图像，对图像全面可靠的需求进而推动了图像融合技术的发展，因此图像融合越来越受到人们的重视，特别是对于可见光图像和红外线图像的融合。对复杂场景的有效描述促使红外线图像和可见光图像融合技术广泛应用于军事监视,工业应用,医学成像[3-4]等。

红外线图像是红外传感器根据不同的热辐射对目标场景和物体成像的，该图像可以用于地面目标识别和探测，如隐藏的目标和伪装识别。红外线传感器对具有明显热辐射的物体或者区域非常敏感，而这些物体或者区域恰恰不能用可见光传感器获取，但由于是通过热辐射成像的，所用图像中往往缺失场景细节，可视效果差。可见光传感器是通过物体或者场景的光谱反射来成像的，它获取的图像包含着丰富的边缘和细节信息，适合人眼视觉特征的认识，但因为它靠光的反射成像，所以在弱光或者夜晚无法正常工作。因此，常常需要利用融合技术将具有相同场景的红外线图像和可见光图像整合起来获得一幅具有丰富细节和明显的红外目标的新图像，提高人类和机器视觉系统的夜间活动能力。

光照良好的可见光图像能够反映目标场景的清晰细节，但是在弱光条件下拍摄的图像往往能见度度极低。一方面，在弱光条件下拍摄的图像的视觉质量几乎不能令人满意。另一方面，它很可能会损害主要为高可视性输入而设计的算法性能。图1是弱光条件下拍摄的两种不同场景的可见光图像，很明显图像场景中的很多细节信息被“埋藏”在黑暗中了。如图1(a)中站台的细节信息根本就看不到，图1(b)中栅栏和草混在一起分不清楚了。在这种情况下，直接与红外线图像融合的话，会降低融合的质量，因此对弱光条件下可见光图像在融合之前进行场景细节的增强是非常有必要的。

(a) 可见光图像1

目前可见光图像和红外线图像的融合方法主要分为三大类：基于空域的图像融合方法[5]、基于多尺度变换域的融合方法[6-7]、基于学习的方法[8]包括卷积神经网络的方法(convolutional neural network ，CNN)[9]。其中基于多尺度变换域的融合方法是最为流行，常见的代表方法有基于非下采样轮廓波(nonsubsampled contourlet transform, NSCT)[10]的方法、基于剪切波变换(shearlet transform,ST)的融合方法，基于四阶微分方程的方法(fourth order partial differential equations ，FPDE)[11], 基于各向异性扩散方程的融合方法(anisotropic disusion and principal component analysis based fusion，ADPCA)[12],其中表现最为出色的是ST的方法。

ST是用复合膨胀算子基于仿射变换提出的一种多尺度分析工具，其定义为

其中

一般取a=4,s=1。

虽然传统的ST方法具有很多优点，但是由于它缺少平移不变性使得在融合图像中出现了Gibbs现象，为了克服这一缺点，文献[13]基于传统的ST方法上结合NSCT给出了一种改进的剪切波变换(nonsubsampled Shearlet Transform, NSST)，通过非下采样金字塔滤波器(nonsubsampled pyramid filters, NSPF)和移位不变的剪切滤波器组(shift-invariant shearlet filter banks, SFB)进行多尺度多方向的分解，这样就克服了小波变换方向的局限，延续了轮廓波多子带多方向的优点，近几年被广泛应用到图像处理中,其分解过程如图2所示。

图2 基于剪切波的分解过程Fig.2 Decomposition based on shearlet transform

基于上述描述，笔者利用剪切波变换和引导滤波的图像增强方法提出一种关于可见光和红外线图像的融合方法。

所提方法主要有两个创新处：一是在融合之前利用方向滤波对可见光图像的每个亮度暗的区域的原始细节先进行增强；二是在低频部分融合时采样能量保护的融合规则，在高频部分采用主成分分析的融合规则，这样融合得到的结果可以获得良好的夜视背景，从而提高了融合效果和视觉效果。

1 引导滤波的增强方法

文献[14]给出了一种基于滤波输出q和引导图像I的非线性保边的模型，其数学模型可以表示如下：

qi=akIi+bk, ∀i∈ωk，

式中,ωk是以像素k为中心的一个正方形邻域窗，本文取3×3；ak,bk分别为线性系数，可以通过优化求解计算得到[14]。引导滤波器可以很好地保护边缘，文献[15]又给出了加速算法，使得该滤波器操作更简单、速度更快。为了描述方便，把引导滤波数值实现的过程用符号GFr,ε(·)表示，r,ε分别是滤波器半径和平滑程度参数，在本文实验中设定为r=3,ε=0.1。这样对图像的增强过程如下：

① 对输入的可见光图像I利用引导滤波进行作用，这样得到了图像的基础图:

Ib=GFr,ε(I)。

② 将图像I和基础图像Ib分别变换到对数中，并利用它们的差得到细节图:

③ 在对数域中对基础图进行压缩得：

④ 将对数域中的增强结果通过指数函数变换到空间域中得到了空域中图像增强结果为

图3给出了利用引导滤波对图1弱光条件下可见光的增强效果。从图3可见，增强后的图像将“埋藏”的细节显示出来了，提高了图像的视觉效果。

(a) 可见光图像1

(c) 可见光图像2

2 所提引导滤波和剪切波变换的融合算法

文章中所采用的可见光和红外线的源图像I1和I2均已配准。本文对可见光图像I1利用公式(1)对弱光下的可见光图像的场景进行增强，提高图像内容的细节信息，并记增强后的图像为I1E,所提的算法步骤如下：

① 对源图像I1E、I2利用如图2所示的剪切波变换进行分解，得到一个低频子带{LI1E,LI2}和一系列高频子带{HI1E,HI2}。

② 低通子带是源图像信息的一个近似，包含着图像的主要能量，因此在低频子带融合的时候本文选择了基于局部能量保护 (weighting local energy，WLE)[16]的融合规则，其具体的数学表达式为

式中，Cs∈{LI1E,LI2},W是半径为r,大小为(2r+1)×(2r+1)的加权矩阵,本文取r=1。

这样得到融合的低通子带Lf为

③ 高通子带的融合准则。在剪切波分解后的高通子带上，主要包含着图像的细节信息，因此在高通子带上选择主成分分析(principal component analysis method，PCA)[6]的融合规则，将{HI1E,HI2}分别拉成列向量并减去各自的均值排列成新的矩阵X,得到新矩阵X协方差矩阵并计算相应的特征值和对应的特征向量V,按照特征值从大到小将特征向量进行排列，分别记作V(1)和V(2),这样融合的各个高通子带Hf可以表示为

对Lf和Hf利用剪切波逆变换得到最终的融合图像If。

3 实验

3.1 测试图集

为了验证所提算法的有效性，选取图4中测试图像对(http://www.imagefusion.org/)进行测试，图4中标号为1的图像代表红外线图像，标号为2的图像表示的是对应于标号为1的图像相同场景的可见光图像。

A1

A2

3.2 图像质量评价指标

对图像融合算法效果的评价一般分为主观评价(视觉效果)和客观评价(评价指标)。客观评价通常从熵(entropy, EN)、标准偏差(standard deviation, SD)、互信息(mutual information, MI)[17]、基于结构相似度的梯度QG评价指标[18]和相位一致性的度量指标QP[19]等进行分析评价，一般认为算法实现的数值越大反映的图像融合结果越好。

3.3 实验结果及讨论

本节内容对本文所提算法(ours)进行实验测试，选取5种具有代表性的关于红外线和可见光图像的融合方法做比较，分别为基于NSCT、ADPCA、CNN、FPDE及NSST。

所比较的算法的参数设置均选取所对应参考文献[9-13]中的最优设置,NSCT 和NSST滤波器采用Meyer滤波器，大小分别为32×32和16×16，从细到粗分别选取剪切方向为16、16、8、8个。在低频选取平均高频取区域最大的融合规则。各种算法对B1和B2的实验效果如图5所示。

(a) NSCT

(d) FPDE

从图5中可见，FPDE 和NSST方法在融合的过程中降低了图像融合的对比度，从而产生了较差的视觉质量。NSCT、 ADPCA 、CNN和所提算法在融合的过程中能保持红外线图像的高亮目标，但相比较而言，所提算法更能将清晰的红外特征注入到可见光图像中，并在融合的结果中保留了大量被隐藏的图像细节，比如公交站台上扶手和房子上的字母在所提算法中更为清晰，更适合人的肉眼视觉。

各种算法对C1和C2的实验效果如图6所示。从图6中可见NSCT、ADPCA、FPDE和NSST方法降低了图像的对比度，没有很好地保留红外线图像中的高亮目标，CNN和所提算法保留了红外特征，所提算法还能更好增强图像的细节，使得图像场景中的纹理细节更加清晰，比如人物旁边的栅栏可以清晰的看到，马路上的痕迹也最为清楚。

(a) NSCT

(d) FPDE

表1给出了各种融合方法在测试集中5个客观指标值，加粗凸显的是效果最好的结果，从整体来看所提算法对几组图像的融合结果都比较理想，图像的熵、标准偏差、互信息、结构相似度和相位一致性在所有算法中几乎都是最好的，这也充分说明提出的算法能更好保留源图像携带的信息，较好地提高了图像的对比度，并且融合的过程中很好地保护了细节和边缘。

表1 基于NSCT 、ADPCA 、FPDE、 CNN、NSST和本文所提方法融合得到的指标值Tab.1 Objective assessments of different fusion methods withNSCT、ADPCA 、FPDE、 CNN、NSST and ours methods

4 结论

本文首先利用引导滤波对可见光图像进行增强，然后用剪切波变换对增强后的可见图像和红外线图像进行分解，根据不同子带的特征选取了不同的融合规则，提高了图像融合效果。实验结果从视觉和客观指标两方面都表明了所提方法的有效性。