郭立强，范志祥

(淮阴师范学院计算机科学与技术学院，江苏淮安 223300)

近年来，随着成像传感器芯片工艺的提高，图像的获取已经从以往单一模式的可见光传感器发展到今天的红外、近红外、紫外等多个波段。不同成像传感器所获取的图像具有信息互补的特点，因此需要图像融合技术将多个图像融合成为一幅图像。图像融合是指将同一场景的多幅图像合并成为一幅图像的过程。但合并后的图像应该包含原始图像中的有用信息，视觉感知进一步增强，便于后续的特征提取与处理。图像融合技术[1]按照信息表征层次不同，由低到高可分为像素级图像融合、特征级图像融合和决策级图像融合。像素级图像融合水平较低，但处理的效果是最好的。该算法有很多，例如基于HIS变换的图像融合算法[2]、基于主成分分析(PCA)的算法[3]、基于小波变换的算法[4-6]等。本文重点关注像素级图像融合算法。

红外传感器与可见光传感器是两类最常用的成像传感器。红外传感器是通过被拍摄目标的热辐射差异来成像的，能够识别出被遮挡的物体，例如隐藏在衣服里的金属物品，具有“透视”作用。但红外图像的亮度和分辨率较低，无法呈现被拍摄目标的纹理等细节信息。可见光传感器所获得的图像具有分辨率高，图像细节信息丰富等优点。但容易受到外界光照、天气因素的影响。

由上述两种类型的成像传感器所获取的红外图像和可见光图像具有信息互补的特性。通过红外图像与可见光图像融合,能进一步提高图像的质量、稳定性和可靠性，减少图像的信噪比影响，形成一幅更为全面、准确、可靠的融合图像。目前，红外与可见光图像融合被广泛地应用于航空、军事、医疗和监控等领域。

现有的红外与可见光图像融合算法在效果上存在诸多问题。如加权平均算法，算法复杂度最小，同时效果是最差的，融合后的图像上存在物体模糊现象，细节信息丢失。图像像素灰度值选取法(最大法，最小法)所得到的融合图像，会失去可见光图像的物体的细节信息(最大法)，或失去红外图像的隐藏物体的细节信息(最小法)。传统的基于小波变换的图像融合算法能够较好地克服上述算法所存在的缺点，但融合后的图像仍会出现部分边缘信息丢失的问题。针对上述问题，本文提出的基于区域特性量测的小波变换图像融合算法，对红外与可见光图像进行融合，该算法的优点的是图像的细节信息丢失少，图像清晰。

1 基于区域特性量测的小波变换图像融合

1.1 融合算法流程

本文提出的基于区域特性量测的小波变换的图像融合算法如图1所示。①对原始红外和可见光图像分别进行2层的小波分解，获得6个高频子图像和1个低频子图像。②高频子图像是原始细节部分在对应于高频率系数的急剧变化，反映图像中物体的细节信息，例如线、边界和边缘等，因此对高频子图像采用基于区域特性量测的融合规则。低频子图像反映图像的整体亮度信息，因此对低频子图像采用取最大值方法，获取红外图像中隐藏物体的信息。③对融合后所得小波金字塔进行小波逆变换来获得融合图像。

图1 基于区域特性量测的小波变换的图像融合流程图

1.2 融合规则

在图像融合过程中，融合规则的选取至关重要。本文融合算法中，对高频子图像采用的融合规则是区域特性量测[7]。首先,计算图像相应分解层上对应局部区域的“能量”值，其计算公式如下：

(1)

y(i,j)=x(i,j)2.

(2)

(3)

其中，公式(1)是一个3×3模版，公式(2)是对x的值进行的逐点平方运算，公式(3)是y与3×3模版w的卷积运算。

其次，计算两幅图像对应局部区域的匹配度，并定义匹配阈值，D1和D2表示红外图像与可见光图像高频子图像的“能量”值，计算公式如下：

y(i,j)=x1(i,j)*x2(i,j).

(4)

(5)

T=0.75.

(6)

接下来判断匹配度和匹配阈值的大小，如果匹配度小于匹配阈值，说明两幅图像对应局部区域匹配度低，所以直接选取两幅图像中对应区域“能量”值较大的区域,运算流程如图2所示。

图2 选取“能量”值较大区域算法的流程图

图3 加权融合算法的流程图

如果匹配度大于匹配阈值，说明两幅图像对应局部区域匹配度较高，两幅图像采用加权的融合算法。运算流程如图3所示。

2 实验结果与分析

为了验证本文提出的基于区域特性量测的小波变换的图像融合算法的效能，选用两幅不同物体的红外图像与可见光图像，进行两组试验。源图像如图4所示。

图4 源图像

为了对比融合的效果，将本文算法与加权平均、PCA和DWT三种融合算法结果进行比较。融合结果如图5和图6所示。通过这两组融合图像的对比分析，发现本文算法在提高图像整体对比度的同时能很好地保留细节信息。观察图5的右上角山丘区域，本文算法在处理物体边缘细节时能够很好地保留细节信息。观察图中人物区域可以看出，在处理人物整体时，相比较加权平均算法和PCA算法，本文算法能够更好地突出显著目标的信息。从图6可以看出，本文算法相比较加权平均、PCA和DWT三种融合算法，使背景图像的对比度有很好的提升，局部细节信息得到了很好的增加，对背景的刻画更加清晰。

图5 Camp图像不同融合算法性能比较

图6 Octec图像不同融合算法性能比较

以上是对各种算法所得到的融合图像进行主观评价，接下来进行客观评价。通过一些量化指标，可以从客观角度对本文算法和其他算法进行分析。本文所用的客观评价指标有[8-14]：平均互信息、平均梯度、边缘强度、灰度标准差、信息熵。平均互信息是融合图像与两幅原图像的互信息的均值，平均互信息越大，表示融合图像从源图像中提取的信息越丰富，融合效果越好。平均梯度，又称图像清晰度，可以敏感地反映图像中的微小细节，同时还可以反映出图像的纹理变换特征，通常平均梯度越大，表示图像层次越多，图像也越清晰。边缘强度，反映图像边缘信息，值越大，边缘越清晰。灰度标准差，反映图像灰度相对灰度平均值的离散情况，融合图像的标准差越大，图像的灰度级分布越分散，融合效果越好。信息熵，信息熵值的大小反映融合图像信息量的多少，通常信息熵值越大，表示融合图像从源图像提取的信息越多，融合质量越好。

表1和表2是两组融合图像的客观评价结果。对表1和表2中的结果进行分析，可以看出本文算法的互信息、平均梯度、边缘强度、灰度标准差和信息熵这些指标均优于其他三种算法。

表1 源图像Camp评价数据

表2 源图像Octec评价数据

本文所提出的基于区域测量小波变换的红外与可见光图像融合算法在图像细节信息处理上达到了较好的效果，其融合效果优于加权平均算法、PCA算法和传统的离散小波算法。

3 结语

为了解决现有红外与可见光图像融合算法存在细节信息表现不足等问题，本文提出了基于区域特性量测的小波变换图像融合算法。实验结果表明，本文算法所得到的融合图像，其视觉效果最好。同时，一些客观评价指标如平均互信息、平均梯度、边缘强度、灰度标准差和信息熵均优于传统经典图像融合算法。