李昌兴, 王志强

(1.西安邮电大学 理学院， 陕西 西安 710121； 2.西安邮电大学 通信与信息工程学院， 陕西 西安 710121)



基于视觉特性的红外与可见光图像融合

李昌兴1, 王志强2

(1.西安邮电大学 理学院， 陕西 西安 710121； 2.西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

给出一种基于人类视觉特性的红外可见光图像融合算法，以增强融合图像的场景信息和目标指示特性。采用无下采样Contourlet变换对两幅源图像进行多尺度分解；在低频分量部分，调整可见光图像的全局亮度，以基于局部能量的方法提取并增强红外目标，以局部方差取大方法获得景物轮廓，余则采用可见光图像像素值；在高频分量部分，采用脉冲耦合神经网络选取高频分量；通过无下采样Contourlet变换的逆变换得到融合图像。改进算法可保留可见光图像的清晰度,红外目标突出,景物比在单一可见光图像中更易辨别。

红外图像；可见光图像；图像融合；对比度；无下采样Contourlet变换

红外图像具有较好的目标指示效果，但背景比较模糊。可见光图像包含丰富的背景信息，具有较好的对比度和清晰度。两幅图像优势信息互补，可增加单一图像的信息量，更便于人眼观察。

图像融合根据融合层次的不同，可分为像素级融合、特征级融合和决策级融合，其中以像素级融合最受关注，它又可分为空间域融合和变换域融合。空间域融合方法不对融合图像进行分解变换，是早期的图像融合的一种尝试。20世纪80年代中期开始，图像的多尺度分解被引入到图像融合中,多尺度分解融合是一种变换域的融合方法，其中影响融合图像质量的因素包括图像分解算法和融合规则的制定。

常用的多尺度图像分解算法中，拉普拉斯金字塔没有考虑图像的边缘和细节的方向信息[1]，小波变换可以得到水平、垂直、对角3个方向的高频子带，但在图像的边缘及线状等“沿”边缘特征受到限制[2]。随着多尺度理论的发展和完善，Contourlet变换的提出，实现了对图像高频分量的任意多个方向的分解，并且可以很好地捕捉图像的光滑轮廓[3]。Contourlet变换的不足之处在于，分解后的子带图像与原图像尺寸不同，不具有平移不变性，并且融合图像容易产生伪轮廓[4-5]，为此，Cunha等人借鉴a trous算法的思想提出了具有平移不变性的Contourlet变换[6]51-58。

图像的多尺度分解能使图像融合过程更加便于处理，在此基础上完善融合规则，可使融合后的图像在视觉效果和客观评价上皆得到明显改善。本文拟在无下采样Contourlet变换(Non-Subsampled Contourlet Transform, NSCT)的基础上，通过正弦函数处理光照较弱时的可见光图像，分析在不同数值范围内的局部能量和局部方差，对具有不同含义的信息，采用不同的处理规则，并采用脉冲耦合神经网络(Pulse Coupled Neural Network, PCNN)获取具有更好视觉效果的边缘轮廓信息。

1 无下采样Contourlet变换

在多尺度分解和方向分解中,利用双通道无下采样滤波器组，通过对滤波器的采样操作来代替对子带图像信号的采样。滤波后获取的子带图像与原图像具有相同的尺寸[6]59-63。多尺度分解通过无下采样金字塔实现(NSP)，多方向分解通过无下采样滤波器组实现(NSDFB)。NSP分解过程中利用采样矩阵D=2I对前一级的低通和高通滤波器进行上采样，其中I为二阶单位矩阵。然后,再对前一级的低频分量进行滤波[7]。NSDFB是通过改进扇形方向滤波器组[8]得到的，其思想与NSP类似，不同之处在于，对滤波器组的上采样采用梅花形矩阵Q，例如取

利用适当的采样矩阵，可以避免Contourlet变换中的频谱混叠现象[9]。

NSCT不仅继承了Contourlet变换的优点，还具有平移不变性，可避免频谱混叠现象，是一种很好的图像表示方法。

2 基于NSCT的图像融合算法

2.1 低频分量融合规则

红外图像通过热辐射信息很好地指示了目标，但缺乏对亮度变化的反映。区域方差反映了图像局部区域的灰度变化情况,在红外图像中表达的是图像的温度变化剧烈程度，在可见光图像中表达的是图像亮度变化的剧烈程度，二者的可比性不高。可见光图像具有较好的对比度和清晰度，故在图像中景物比较平坦的非轮廓区域，直接选取可见光图像的像素值更为合理。

对于低频部分，通过检测局部能量和局部方差来判断像素所在区域所表达的信息。定义红外图像低频子带在以(x,y)为中心的小邻域的局部能量

它是一个平均能量。其中,J为尺度分解数，aIR,J(x,y)表示红外图像低频子带在(x,y)处的像素值，M×N表示选取的区域大小，一般取3×3或5×5。

定义以点(x,y)为中心的小邻域的方差

低频分量融合规则可描述如下。

(1) 当可见光图像的全局亮度较低，亮度反差极大时，通过TAN函数[10]对图像的亮度调整，即

其中，max{aVI,J}为低频图像的最大像素值，k和c皆为图像的亮度修正参数，0

其中:Ca表示图像的暗区域所占比例，即像素值小于等于a的像素点，Cb表示图像亮区域所占比例，即像素值大于b的像素点，此处取

a=50,b=200;

θ1和θ2为图像的明暗区域统计特征阈值，此处取

θ1=0.2,θ2=0.8。

通过TAN函数改善图像的全局亮度，能使图像中的景物更加便于识别。

其中,aIR,J(m,n)红外图像当前像素点，max{aIR,J}为红外图像最大像素值，β为一常数，此处取[11]

β=0.8。

(3) 可见光图像在清晰度和对比度方面均优于红外图像，故可设置方差阈值α，对红外图像中方差小于阈值的像素点，采用可见光图像对应像素点的值。

(4) 红外图像方差大于阈值的像素点为景物的轮廓区域，对这些区域，比较两幅图像对应位置像素点的区域方差，选取具有较大方差的像素点作为融合图像的系数。

aF,J(m,n)=aIR,J(m,n)+λ;

aF,J(m,n)=aVI,J(m,n);

aF,J(m,n)=aIR,J(m,n)，

而若VIR,J(m,n)

aF,J(m,n)=aVI,J(m,n)。

2.2 高频分量融合规则

高频分量包含着图像的细节信息，PCNN模型能够很好地模拟人眼视觉神经系统的生物特性，具有全局耦合特性和脉冲同步特性，当它被用来选取细节系数时，更符合人眼对图像信号的反应，能更好利用子带图像的全局信息。针对高频部分，可以比较两幅图像对应子带的PCNN点火时间图，选取先被点火的子带系数。PCNN的数学表达式为[3]

其中,Fij为输入信号，αF为反馈域衰减时间常数，αL为耦合连接域衰减时间常数，Lij连接输入信号，YL为耦合连接域，Uij(n)为神经元内部活动项，β为突触间的连接强度系数，Yij为神经元输出，θij为动态阈值，αθ为动态门限的衰减时间常数。Mijkl为神经元(i,j)同神经元(k,l)之间的连接权,即

可考虑选取参数[3]

αF=0.1, αL=1, αθ=0.5,

VF=0.5, VL=1, Vθ=20, β=0.1。

3 实验结果及分析

通过Matlab仿真展示所给改进算法的效果，并与其他4种融合算法进行比较。

实验运行环境为Matlab 7.0.0.19920 (R14) ，华硕计算机配置为Intel(R)Core(TM)i7-5500U CPU 2.4 GHz,4.00 GB内存。

参与对比实验的4种算法：DWT算法采用小波变换进行多尺度分解，低频系数取平均，高频系数绝对值取大的融合规则；NSCT_simple算法采用NSCT进行多尺度分解,采用与DWT算法相同的融合规则；文献[6]61-62算法同样采用NSCT进行多尺度分解，低频部分采用基于局域能量的红外目标提取以及方差取大的方法，高频部分采用局部方向对比度取大的融合规则；MPCNN算法[12]通过水域法求分割阈值，利用改进的PCNN算法对图像进行分割，根据显著性因子和可见性因子确定融合权值获取融合图像。

分解层数均为3层，其中NSCT_simple算法与文献算法每层分解的方向数分别为4、8和16。NSCT分解所用金字塔滤波器均为“9-7”滤波器，方向滤波器组采用“dmaxflat7”滤波器。所给改进算法分解层数为2层，每层分解方向数为8和16。

实验1所选用的红外与可见光图像，以及各算法的融合结果分别如图1所示。

(g) 改进算法

实验2所选用的红外与可见光图像，以及各算法的融合结果分别如图2所示。

视觉效果显示，所给改进算法具有较好的对比度，图像的全局亮度得到了提高，景物更适合人眼识别，通过对热目标的能量增强，使其更易于引起关注。DWT算法整体显示比较模糊，这是由于小波变换对图像的细节表达能力有限。NSCT_simple算法，文献[6]算法和MPCNN算法的融合图像轮廓部分得到了明显改善，但图像的对比度和清晰度不如所给改进算法，另外，文献[6]算法和MPCNN算法对于不同背景的图像，其融合效果具有显著差异。

(g) 改进算法

选取熵、平均梯度和标准差来对融合图像进行客观评价。实验1中各融合图像的评价指标如表1所示，实验2中各融合图像的评价指标如表2所示。

表1 实验1融合图像客观评价指标

表2 实验2融合图像客观评价指标

表1和表2中的数据显示，融合算法经改进后，标准差均得到了明显的提高。标准差反映了图像的整体对比度,故改进算法具有更好的对比度，与视觉效果一致。改进算法比NSCT算法和MPCNN算法的平均梯度高，但比DWT算法低。平均梯度表征了图像的清晰程度，小波变换在表达纹理以及拐角信息方面具有更好的效果[13]。关于实验1所列熵值数据，改进算法高于DWT算法，NSCT_simple算法和MPCNN算法，但低于文献[6]算法，这是因为文献[6]中对红外目标以外的区域均采用了方差取大的融合算法，而红外图像中往往包含较多噪声，其对方差比较敏感，故使图像中没有轮廓的区域产生了一些不必要的轮廓。关于实验2所列熵值数据，改进算法高于其他算法，表明改进算法较好地保留了原始图像的细节信息。

4 结语

在NSCT算法的基础上，综合考虑红外图像的热辐射信息，可见光图像的亮度信息，和两者的细节信息,给出一种红外可见光图像融合规则。所给改进算法利用TAN函数调整可见光图像的亮度，使得在光线较暗区域的景物更加便于识别，并利用方差取大的方法，获得具有更好视觉效果的景物轮廓部分，融合图像具有较好的对比度。人眼对灰度变化比较敏感，加之PCNN模型更符合生物神经系统对信息的处理，故使由所给改进算法得到的融合图像具有更好的视觉效果。

[1] 周雨薇. 基于多分辨率分析和变分的遥感图像增强与融合算法研究[D/OL].南京:南京理工大学,2014:15-16[2015-12-06].http://cdmd.cnki.com.cn/Article/CDMD-10288-1014176051.htm.

[2] 李伟林. 基于目标提取的红外与可见光图像融合算法[J/OL]. 计算机仿真, 2014,31(11):358-361[2015-12-05].http://dx.chinadoi.cn/10.3969/j.issn.1006-9348.2014.11.082.

[3] 才溪.多尺度图像融合理论与方法[M].北京：电子工业出版社，2014:123-136.

[4] DO M N, VETTERLI M. The Contourlet Transform: An Efficient Directional Multiresolution Image Representation[J/OL]. IEEE Transactions on Image Processing,2005.14(12):2091-2106[2015-12-06〗.http://dx.doi.org/10.1109/TIP.2005.859376.

[5] 吴粉侠,段群. 基于NSCT的PCA与PCNN相结合的图像融合算法[J/OL].计算机技术与发展,2015,25(12):72-75[2015-12-06].http://dx.chinadoi.cn/10.3969/j.issn.1673-629X.2015.12.017.

[6] 叶传奇. 基于多尺度分解的多传感器图像融合算法研究[D/OL].西安:西安电子科技大学，2009:51-64[2015-12-06].http://dx.chinadoi.cn/10.7666/d.y1556871.

[7] BAMBERGER R H, SMITH M J T. A Filter bank for the Directional Decomposition of Images: Theory and Design[J/OL]. IEEE Transactions on Signal Processing,1992,40(4):882-893[2015-12-07].http://dx.doi.org/10.1109/78.127960.

[8] DA CUNHA A L, ZHOU J, DO M N. The nonsubsanpled contourlet transform: Theory, design, and application[J/OL]. IEEE Transactions on Image Processing, 2006,15(10):3089-3101[2015-12-07].http://dx.doi.org/10.1109/TIP.2006.877507.

[9] 周渝人. 红外与可见光图像融合算法研究[D/OL].北京:中国科学院研究生院,2014:47-64[2015-12-06].http://cdmd.cnki.com.cn/Article/CDMD-80139-1014263866.htm.

[10] 吕丽丽,高昆,邵晓光,等. 基于人眼视觉特性的高动态范围彩色图像自适应增强方法[J/OL].北京理工大学学报, 2012,32(4):415-419[2016-02-12].http://dx.chinadoi.cn/10.3969/j.issn.1001-0645.2012.04.015.

[11] NERCESSIAN S C, PANETTA K A, AGAIAN S S. Non-linear direct multi-scale image enhancement based on the luminance and contrast masking characteristics of the human visual system[J/OL]. IEEE Transactions on Image Processing, 2013, 22(9):3549-3559[2016-02-12].http://dx.doi.org/10.1109/TIP.2013.2262287.

[12] 李敏,蔡伟. 基于生物视觉特性的红外与可见光图像融合方法[J/OL]. 计算机工程与科学,2012,34(9):83-87[2016-08-15].http://dx.chinadoi.cn/10.3969/j.issn.1007-130X.2012.09.015.

[13] 李昌兴,王平平,申超. 两种变换域相结合的医学图像融合[J/OL]. 西安邮电大学学报,2013,18(4):37-40[2016-02-13].http://dx.chinadoi.cn/10.3969/j.issn.1007-3264.2013.04.010.

[责任编辑:陈文学]

Infrared and visible image fusion based on human visual characteristics

LI Changxing1, WANG Zhiqiang2

(1.School of Science, Xi’an University of Posts and Telecommunication, Xi’an 710121, China;2.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

An infrared and visible image fusion algorithm based on human visual characteristics is presented in order to enhance the scene information and the characteristics of the target indication. The two source images are decomposed by the nonsubsampled contourlet transform. In the low frequency component, the global brightness of the visible image is adjusted, the infrared target is extracted and enhanced based on the local energy, and the contour of the scene is obtained by the method of local variance. In the high frequency component, the pulse coupled neural network (PCNN) is used to select the high frequency component. Finally, the fusion image is obtained by inverse NSCT transform. The improved algorithm can preserve the clarity of the visible image, the infrared target is more prominent, and the scene is more easily identified than in the visible image.

infrared image, visible image, image fusion, contrast, nonsubsampled Contourlet transform

10.13682/j.issn.2095-6533.2016.06.019

2016-04-01

李昌兴(1962-)，男，教授，从事数字图像处理研究。E-mail：shuxueshiyanshi@163.com 王志强(1990-)，男，硕士研究生，研究方向为图像信息处理。E-mail:24303386@qq.com

TP391

A

2095-6533(2016)06-0098-05