赵春晖 马丽娟 邵国锋



采用WA-WBA与改进INSCT的图像融合算法

赵春晖*马丽娟 邵国锋

(哈尔滨工程大学信息与通信工程学院 哈尔滨 150001)

在冗余提升变换与多方向分析相结合的图像融合算法改进的非下采样轮廓波变换(INSCT)中，冗余提升部分采用的Neville算子在多尺度分解的过程中丢失了很多方向信息，不利于后续的多方向分析。针对这一问题，该文提出了一组新算子，可以在频带分解部分很好地保持图像的方向信息，并在此基础上提出一种图像融合算法。该算法先用直方图均衡化的方法提高红外图像中目标区域的灰度值；然后用新算子代替Neville算子对可见光图像与处理后的红外图像进行多尺度分解；最后采用基于权重窗口的活动级与加权求和相结合(WA-WBA)的方法替代简单的加权求和方法对低频子带进行融合，采用一致性测度，实现了各子带系数的自适应融合，有效地弥补了基于像素的图像融合方法的不足。实验结果表明，该算法使融合后的图像更好地保持了可见光的细节信息，同时获得了较清晰的红外图像中的目标信息。

图像融合；冗余提升；一致性测度；权重窗口的活动级与加权求和相结合(WA-WBA)

1　引言

图像融合技术是在不引入额外信息的前提下，将包含在多幅源图像中的重要信息融合起来，得到一幅包含信息更丰富的图像[1, 2]。可见光图像包含了场景丰富的细节纹理信息，但往往捕获不到隐藏在低光照条件下或者伪装的对象。相反，红外图像能捕获到有热辐射的目标，但是无法体现场景的细节纹理信息。将可见光图像与红外图像进行融合，得到一幅同时包含细节纹理信息和目标信息的综合图像，可有效降低虚警概率，提高在复杂背景中正确识别和跟踪目标的概率。近年来，图像融合领域的研究主要集中在多分辨率分析工具和融合规则两部分。

多分辨率分析的核心任务是高效地描述图像，即有效地捕获图像的奇异点信息。基于小波变换的多分辨率分析成功应用于图像融合领域，然而，由于小波基函数所具有的各向同性和方向局限性，对高度奇异性的边缘不能给出最优解[3]。基于以上问题，文献[4]提出了脊波变换，该变换采用剖分的思想实现了对曲线奇异的检测。随后提出了二代脊波变换(Curvelet)[5], Curvelet采用的楔形基充分考虑了奇异点的几何形状，并具有任意角度的方向性。受Curvelet的启发，文献[6]提出了Contourlet Transform(CT), CT具有良好的时频局部特性和各向异性特性，然而CT不具备平移不变性，在奇异点处容易产生吉布斯效应。非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT)[7,8]继承了CT的所有优点，且采用非下采样的操作克服了吉布斯效应，然而NSCT中频带分解(NSPFB)的本质是金字塔分解，此方法不能高效地描述图像的边缘、纹理等细节特征。王卫星等人[9]用冗余不可分离提升小波变换(Redundant Lifting Non- Separable Wavelet Transform, RL-NSWT)对图像进行多分辨率分析，相比NSPFB能更好地捕获图像的细节纹理特征，且同样具有平移不变性。孔韦韦等人[10]将RL-NSWT与NSCT结合起来，提出了INSCT变换，但只是简单地将冗余提升变换和多方向分析结合在一起使用，在分解部分采用中心像素与邻域像素最大值作差的方法来产生细节信号，该方法丢失了图像的方向信息，不利于后续的多方向分解。

融合规则选取的不当会严重影响融合效果。近几年这方面的研究主要集中在高频部分，低频部分一般采用简单的加权求和法，然而低频部分和高频部分是相互作用和相互影响的，简单的加权求和会平滑掉图像的一些细节信息，基于权重窗口的活动级测定和加权求和相结合的方法(WA-WBA)克服了传统算法的不足。此外，目前大部分的图像融合算法只关注融合图像中包含了多少待融合图像的重要信息，而不重视对比度增强的问题，如果待融合图像的对比度不高，融合后的图像也很难获得较高的对比度[11]。

基于RL-NSWT, WA-WBA的优势和图像增强的必要性，本文提出了一种采用WA-WBA与改进INSCT的图像融合方法，该方法在融合前用直方图均衡化方法增强红外图像的对比度，采用RL-NSWT对图像进行多尺度分解，用方向滤波器对图像进行多方向分解，采用WA-WBA融合低频部分，采用NHM融合高频部分。在RL-NSWT多尺度分解部分，采用了一种预测和重构性能更好的预测算子和更新算子。通过主观分析和结构相似度(SSIM),因子，相关系数这3个指标客观地评价本文的融合方法，结果表明本文方法更好地保留了可见光图像的细节信息和红外图像的目标信息，更适合人眼观察。

2　RL-NSWT的实现

2.1 实现过程

提升小波变换进行信号分解时，分解过程每执行一次，数据长度变成原来的一半，当分解级数越来越大时，近似信息和纹理信息数据点数逐渐变少。冗余提升小波变换将提升小波变换中的第1步奇偶分解改成复制，使分解结果中逼近信号与细节信号的长度与原始信号相同，从而保证了该分解方法与NSCT中的NSPFB一样，能保持图像的平移不变特性。冗余提升变换由正变换和反变换两部分构成，正变换通过水平提升和对角提升将图像分解为3个频带的子图像，反变换是完全相反的过程。具体实现过程见参考文献[12]。

图1 冗余提升正变换框架

2.2 新算子的提出

经典的Neville算子冗余提升水平/垂直预测如式(1)，即用中心像素上下左右4个位置像素的最大值与中心像素的差值作为细节信号，对角提升如式(2)，即用中心像素4个对角位置像素的最大值与中心像素的差值作为细节信号，具体内容见参考文献[12]。

由于在图像融合中采用RL-NSWT将图像分解为3个频带之后，需要再对其进行方向滤波，因此要求在提升部分最大限度地获取细节信息，与邻域最大值作差，只能提取出中心像素与最大值连线方向的细节信息，而丢失了其它方向的信息，基于此，采用式(3)和式(4)来保存方向信息。式(3)计算出以中心像素为中心的水平位置与垂直位置上5个像素的均值，并与中心像素作差，将此差值作为细节信息。式(4)求出以中心像素为中心的对角线位置上5个像素的均值，并与中心像素作差，此差值作为细节信号。用均值作差的方法保留了图像各个方向的细节信息。

基于式(3)推出新的预测算子矩阵和*，其表示为

3 非子采样方向滤波器组(NSDFB)

表1 两种重构方法的对比

4 基于WA-WBA和改进INSCT的图像融合策略

4.1融合方案

(1)利用待融合可见光图像的灰度直方图来均衡化红外图像。计算可见光图像分别在各个灰度值所占的像素个数，将红外图像的灰度值按这个比例调整，如图4(a)所示，红外图像的灰度值大部分都集中在[50, 100]，在这个灰度值区间很难将目标和背景分开，通过直方图均衡化，将红外图像的灰度区间变成在全部灰度范围内的均匀分布，通过这种非线性拉伸来增强红外图像的对比度，增强后的图像如图4(b)所示。从图中可以看到，均衡化方法提高了目标区域(亮度较高区域)的灰度，降低了背景区域的灰度，即降低了红外图像中背景区域的无用信息在融合时对有用信息的干扰，使得融合后的图像更适合人眼的观察，仿真结果如图4。

图2两种方法完全重构性能仿真结果

4.2低频融合规则

图4直方图均衡化

图6 高斯内核

4.3 高频融合规则

对中频方向子带和高频方向子带用基于邻域一致性测度(Neighborhood Homogeneous Measur- ement, NHM)的局部自适应方法融合，具体实现过程见参考文献[13]。

将所有方向子带都按照上述方法进行融合后，经过NSDFB反变换得到融合后的3个频率通带，将其进行冗余提升反变换，得到融合后的图像。

5 评价指标

因子和SSIM是基于结构信息传递量的评价方法，客观反应了融合图像与原始图像的结构相似度。平均相关系数反映了融合图像与原始图像的相关程度。它们的定义如下：

6 实验结果与性能分析

为了验证本文算法的有效性，在此给出两组不同类型数据源的融合实验结果。数据1来自“Octec”有限公司的David Dwyer公布的红外与可见光序列图，数据2来自“英国布里斯托大学”博士Stavri Nikolov拍摄的“Bristol Quees Road”红外与可见光图像序列图。本文算法与NSCT变换，参考文献[9]的算法，参考文献[10]的INSCT进行比较，并分析了实验结果。其中NHM的参数TH取0.7。为了更加客观地评价本文的多分辨率分析方法和低频融合规则的优越性，对比算法的高频融合规则与本文高频部分的融合规则相同，都为NHM。

第1组仿真实验，图7(a)可见光图像中大部分的房屋被浓浓的白烟遮盖，图7(b)红外图像中可以看到在浓烟的后面有几个人正在逃生，这组数据融合后需要重点提取房屋和被遮挡的人。图7(c)中基于梯度的融合规则使得融合后的图像中包含可见光信息较多，红外图像的亮度信息无法清晰地提取。图7(d)和图7(e)逃生的人也没有清晰地提取出来。图7(f)中能相对清晰地看到在烟雾中逃生的两个人，同时也可以看出房屋的概貌和远处树木的概貌。仿真数据见表2，本文算法相比参考文献[9]，NSCT变换和INSCT算法在,和SSIM方面均有明显提升。

表2数据1仿真结果

[9]NSCT变换INSCT变换本文算法 C0.56610.56150.73280.7611 Q0.71260.73440.75800.7748 SSIM0.88010.89950.51500.9034

第2组仿真实验，图8(a)可见光数据中，左上方牌子上的字迹清晰可辨，但无法看清路上行人；图8(b)的红外图像中，路上的行人与车辆都能够辨识，但文字不够清晰；图8(c)和图8 (d)中文字基本可以辨识，但右下角的人轮廓模糊；图8(e)中的文字不容易辨识；图8(f)所示的本文算法结果图中文字和行人都清晰可见，人像也清晰可见。仿真数据见表3，本文算法相对3种对比算法，有最大的,和SSIM值。

表3数据2仿真结果

参考文献[9]NSCT变换INSCT变换本文算法 C0.67240.62550.65460.7113 Q0.75040.72950.74840.7906 SSIM0.69260.70190.73190.7652

图7第1组数据的4种方法的仿真结果比较

图8第2组数据的4种方法的仿真结果比较

7 结论

本文提出的融合算法在多尺度分解部分采用了一组新的算子，该算子能更好地重构图像，使重构后的图像与原始图像的RMSE更小。在融合前将待融合的红外图像进行直方图均衡化，突出红外图像中的目标信息，使得在融合的时候红外图像中的背景区域更多地选择可见光信息，而在目标区域更多地选择红外图像信息，此方法在一定程度上提升了融合质量，有助于人眼观察。采用基于权重窗口的活动级测定与加权求和相结合的方法作为低频融合规则，此融合方法比简单的加权求和法及平均法能够使融合后的图像更恰当地选择源图像中的亮度信息。相比目前应用较广泛的几种算法及其改进算法，本文提出的算法很好地将待融合图像中的细节信息和亮度信息进行融合，使融合后的图像分辨率高，目标轮廓清晰，更适用于人眼的观察。

[1] Parmar K and Kher R. A comparative analysis of multimodality medical image fusion methods[C]. Proceedings of the IEEE Modelling Symposium (AMS), Austin, 2012: 93-97.

[2] Jang J H, Bae Y, and Ra J B. Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex[J]., 2012, 21(8): 3479-3490.

[3] 杨晓慧, 贾建, 李成. 基于活性测度和闭环反馈的非下采样Contourlet域图像融合[J]. 电子与信息学报, 2010, 32(2): 422-426.

Yang Xiao-hui, Jia Jian, and Li Cheng. Image fusion algorithm in nonsubsampled contourlet domain based on activity measure and closed loop feedback[J].&2010, 32(2): 422-426.

[4] KangZhi-wei and Yang Lei. A new transform for image processing[J]., 2010, 21(2): 627-639.

[5] Mahyari A G and Yazdi M. A novel image fusion method using Curvelet transform based on linear dependency test[C]. Proceedings of the IEEE Digital Image Processing, Beijing, 2009: 351-354.

[6] Liu Kun, Guo Lei, and Chen Jing-song. Contourlet transform for image fusion using cycle spinning[J]., 2011, 22(2): 353-357.

[7] Adu Jian-hua, Wang Ming-hui, and Wu Zhen-ya. Multi-focus image fusion based on the non-subsampled contourlet transform[J].2012, 59(15): 1355-1362.

[8] Da Cunha A L, Zhou J, and Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[9] 王卫星, 曾基兵. 冗余提升不可分离小波的图像融合方法[J]. 电子科技大学学报, 2009, 38(1): 13-16.

Wang Wei-xing and Zeng Ji-bin. Image fusion method based on redundant lifting no-separable wavelet transform[J]., 2009, 38(1): 13-16.

[10] 孔韦韦, 雷英杰, 雷阳. 基于改进型NSCT变换的灰度可见光与红外图像的融合方法[J]. 控制与决策, 2010, 25(11): 1608-1612.

Kong Wei-wei, Lei Ying-jie, and Lei Yang. Fusion method for gray-scale visible light and infrared images based on improved NSCT[J]., 2010, 25(11): 1608-1612.

[11] Kim D, Choi S, and Sohn K. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics[J]., 2013, 23(3): 482-487.

[12] 康志伟, 廖剑利, 何怡刚. 基于提升算法的不可分离小波图像边缘检测[J]. 华中科技大学学报, 2006, 34(4): 57-62.

Kang Zhi-wei, Liao Jian-li, and He Yi-gang. Detection of the image edges of non-separated wavelets based on lifting scheme[J]., 2006, 34(4): 57-62.

[13] Zhang Qiang and Guo Bao-long. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[14] Hossny M, Nahavandi S, and Reighton D. An evaluation mechanism for saliency functions used in localized image fusion quality metrics[C]. Proceedings of the IEEE Computer Modelling and Simulation, Britain, 2012: 407-415.

[15] Xydeas C S and Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[16] Wang Zhou and Booik A C. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

赵春晖： 男，1965年生，教授，博士生导师，研究方向为数字信号和图像处理、通信信号处理.

马丽娟： 女，1988年生，硕士生，研究方向为图像融合.

邵国锋： 男，1985年生，硕士生，研究方向为图像融合.

An Image Fusion Algorithm Based on WA-WBA and Improved Non-subsampled Contourlet Transform

Zhao Chun-hui Ma Li-juan Shao Guo-feng

(,,150001,)

The Improved Non-Subsampled Contourlet Transform (INSCT) algorithm combines redundancy ascending transform and multi direction analysis. Neville-operator is used in the part of redundancy ascending and direction information is lost in the process of multi-scale decomposition, which is bad for follow-up analysis. To solve this problem, a new set of operators which effectively preserves direction information in frequency band decomposition part is designed in this paper, and a new image fusion algorithm using the operators is proposed. First, the histogram equalization method is used to enhance grey values of the target zone in infrared image. Second, the multi-scale decomposition is performed on visible image and the enhanced infrared image using the new set of operator rather than the Neville-operator. Finally, low-frequency sub-band is fused using a new method incorporating the activity level based on Weighted Average-Window Based Activity measurement (WA-WBA) rather than the simple weighted sum method. The use of neighborhood homogeneous measurement realizes the adaptive fusion of each sub-band coefficient, and the proposed method effectively makes up the disadvantages of pixel-based image fusion method. The experimental results show that the proposed method preserves details of the visible image and obtains clear target information in the infrared image.

Image fusion; Redundant lifting; Homogeneity measure; Weighted Average-Window Based Activity measurement (WA-WBA)

TP391

A

1009-5896(2014)02-0304-08

10.3724/SP.J.1146.2013.00542

赵春晖 zhaochunhui@hrbeu.edu.cn

2013-04-22收到，2013-09-17改回

国家自然科学基金(61077079)，教育部博士点基金(20102304 110013)，黑龙江省自然科学基金重点项目(ZD201216)和哈尔滨市优秀学科带头人基金(RC2013XK009003)资助课题