陈树越，刘金星，丁 艺

(常州大学信息科学与工程学院，常州213164)

引 言

图像融合是指采用某种算法对两幅或多幅不同的图像进行综合处理，得到一幅或多幅信息更加丰富的新图像［1］。红外与可见光图像融合是一种典型的图像融合，即在一幅图像中既保留丰富的外在特征信息，同时又显示图像中的热辐射信息。目前，可见光与红外图像的融合技术在民用领域、医学成像、国防科技等都有广泛的应用［2］。

图像融合采用的方法主要有灰度加权平均法、主成分分析(principal component analysis，PCA)法、金字塔变换、小波变换等融合方法［3－5］，其中小波变换是一种有效的信号分析及处理技术，受到人们的广泛关注和应用。由于红外图像和X光图像不能直接进行小波变换融合，所以首先将红外图像和X光图像分别转化为灰度图像，然后把这两幅灰度图像进行小波融合，获得小波融合图。然后采用YIQ彩色空间变换将融合后的图像进行彩色处理，将红外图像的颜色信息转移到融合后的小波图像上，最终获得小波融合图。

红外图像与X光图像进行融合，不仅能获得构件表面的温度场分布，还可以透过构件内部获得不可视零部件的结构，进而可根据融合图像的温度场分布判断和追踪热辐射来源，使得图像的信息更加丰富，该方法对发现构件内部热源提供了一条新思路。在融合方法上借鉴红外与可见光融合方法，提出了基于小波变换的红外图像与X光图像融合，并通过特征参量对融合图像的效果进行评价。

1 小波融合

1.1 小波变换MALLAT算法

若利用Hr，Hc和Gr，Gc分别表示镜像与共轭滤波器H和G的行滤波器值和列滤波器值，它们对{Cj(m1，m2)}(m1，m2∈Z2)行和列进行滤波，Z2是一个点的集合，则2维MALLAT分解算法可表示为:

式中，Cj+1表示图像f(x，y)的低频部分;D1，j+1，D2，j+1，D3，j+1分别表示高频部分的水平方向分量、垂直方向分量、对角方向分量。

2维MALLAT分解算法的重构算法表达式为:

式中，H'，G'分别表示H，G的共轭转置矩阵。

1.2 YIQ变换

YIQ色彩空间中，亮度信息Y代表灰度级信息，而色调I和饱和度Q携带颜色信息。从RGB到YIQ的转换关系［8］是:

1.3 基于小波分解和重构的融合原理

利用2维小波对图像进行分解，在不同的分解层采用不同的融合规则，对应用规则处理过的各层图像用小波重构的方法重构。红外与X光图像融合过程如下:(1)首先对配准后的图像进行灰度变换，然后采用2维离散小波对灰度图像分别进行分解，把灰度图像分解到不同的频率和方向上，可以指定小波和分解层数，常用小波基有 Haar小波、Daubechies(dbN)小波、Mexican Hat(mexh)小波、Morlet小波、Meyer小波等5种，由于Daubechies小波基在表达图像的细节部分效果较好，在此选择了DBSS(2，2)小波的2层和3层分解［9］;(2)对获得的各层分解图像分别进行融合处理，对各分解层采用对应的融合规则，在此高频系数选择最大值，低频系数选择加权平均法［10－11］;(3)对上一步得到的小波系数矩阵进行重构，重构图像即为小波变换融合图像;(4)对原红外RGB图像进行YIQ颜色空间变换，提取其I，Q颜色分量，该颜色分量表示温度信息。然后提取小波融合图像的Y分量，该分量表示亮度。最后，将它们合成为新的YIQ空间图像，通过YIQ变换转换为RGB图像，即为最终的小波融合图像。

Fig.1 Flow chart of wavelet fusion of infrared and X－ray images

上述步骤的流程图如图1所示。

2 质量评价

对同样的两幅图像，不同的融合方法可以得到不同的融合图像，采用不同的融合方法有不同的优点。因此，对融合图像进行质量评价，有助于选择适当的图像融合算法和改进现有的融合算法。

客观评价主要有:熵、平均梯度、标准差、均方根误差、峰值信噪比、联合熵等。由于在实际应用中很难得到融合图像的标准图像，因此，对于红外与X光图像融合效果，可以采用图像的熵、平均梯度、标准差等参量来评价图像融合前后的变化和融合图像质量。

(1)图像的熵越大，说明图像的信息量越丰富。信息熵定义为［12］:

式中，L为图像总的灰度级数，Pi表示图像中像素灰度值为i的概率。

(2)标准差越大，说明图像的对比度大，图像融合效果越好。其定义为［13］:

式中，F(i，j)和分别表示在点(i，j)的灰度值和平均灰度，这里的图像大小为M×N。

(3)图像的平均梯度越大，说明图像越清晰。其定义为［14］:

式中，f(m，n)表示图像中点(m，n)的灰度大小。

3 实验结果及分析

电路在工作中，其中的元器件会产生热量，实验以电路板为研究对象。首先，采用红外热像仪和X光机获取红外与X光图像，如图2a、图2b所示。

Fig.2 a—infrared image b—X－ray image

由于红外图像与X光图像不能直接进行融合，先将配准后的红外图像和X光图像分别进行灰度变换，然后采用小波变换对变换后的灰度图像进行融合，高频系数选取最大的方法，低频系数取两幅图像对应的均值，本次实验中选用DBSS(2，2)小波变换分解和重构图像，分解层数分别为2层、3层，得到融合后的图像，如图3所示，然后将图3a和图3b进行YIQ颜色空间变换，获得最终融合图像，如图4所示。通过融合实验结果可以清晰地观察到电路板所反映的温度信息和内部结构细节。

Fig.3 Image of wavelet fusion

Fig.4 YIQ transform of wavelet fusion image

由于不存在标准的融合图像，因此，采用熵、标准差和联合熵来客观评价获得融合图像。此外，为了验证小波融合的效果，还做了一组灰度平均加权的图像融合实验。由于本实验中主要是获得构件内部温度场分布和细节，尤其是芯片的温度场分布，因此，选取芯片附近互相对应的区域进行融合质量评价，如图5所示，评价结果如表1所示。

从主观视觉上看，融合的几幅图像都能得到比较满意的视觉效果，融合的图像既能看到电路板上芯片温度场分布，也能看到芯片的细节信息，图像较融合前的红外图像清晰了许多，对比度也有了很大的提高。

Fig.5 Region image

Table 1 Evaluation results

从客观评价上看，融合图像的清晰度较红外图像高、较X光图像低，这说明融合图像在继承了两幅图像的信息基础上进行了折中，既包含了构件的温度场分布，同时也反映了构件内部清晰的结构。从表1中也可以看出，2层、3层小波分解在信息熵、标准差、平均梯度等方面的指标较平均值融合都有了较大的提高，融合质量较好。评价结果对比情况如表2所示。

Table 2 Comparison results of evaluation parameter average of two and three wavelet transform

4 结论

采用小波融合方法对红外与X光图像融合能够较好地反映构件内部细节和温度场分布。从主观上看，与融合前的红外图像相比，融合后的图像所含有的信息更加丰富，图像也更加清晰。从客观上看，小波融合的图像在熵值、标准差以及平均梯度上都比融合前的红外图像得到提高，分别提高了12.53%，63.28%，757.11%。另外，融合图像在这些评价参量上比X光图像低，分别降低了4.49%，27.17%，6.32%。可见，融合后的图像在继承了两幅图像的信息基础上进行了折中，既包含构件的温度场分布，同时也反映了构件内部清晰的结构，从而有利于发现内部热辐射源。

［1］ YU K L，XIE Zh Y，YUAN Zh W，et al.Application of improved wavelet image fusion algorithms［J］.Computer and Digital Engineering，2014，42(4):592－593(in Chinese).

［2］ REN H P.Research progress and development trends of infrared and visible image fusion［J］.Ship Electronic Engineering，2013，33(1):16－17(in Chinese).

［3］ ZHU L，SUN F，XIA F L，et al.Review on image fusion research［J］.Transduce and Microsystem Technologies，2014，33(2):14－15(in Chinese).

［4］ RANI K，SHARMA R.Study of different image fusion algorithm［J］.International Journalist of Emerging Technology and Advanced Engineering，2013，3(5):288－289.

［5］ SAPKAL R J，KULKARNI S M.Image fusion based on wavelet transform for medical application［J］.International Journal of Engineering Research and Applications，2012，2(5):624－627.

［6］ GAO Y，WANG A M，WAG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):691－693(in Chinese).

［7］ CHENG G，GUO L，ZHAO T Y，et al.Multi－focus image method based on wavelet transform［J］.Computer Engineering and Applications，2012，48(1):194－195(in Chinese).

［8］ LÜ Y N，ZHU X，ZHU Ch H，et al.Common color space and its conversions in image processing［J］ .Computer and Digital Engineering，2006，34(11):55－56(in Chinese).

［9］ ZHAO Y H.Studies on wavelet transform based image fusion［D］.Shanghai:Shanghai Jiaotong University，2002:30－34(in Chinese).

［10］ ZHANG W，WANG P L.A image fusion algorithm with wavelet transform based on multi－scale edge detection［J］.Microcomputer Information，2009，25(10):130－131(in Chinese).

［11］ CHENG F，ZHANG W W，YU W J，et al.Fusion algorithm of EMCCD’s low－light－level images based on wavelet transform［J］.Laser Technology，2014，38(2):157－159(in Chinese).

［12］ XING S X，CHEN T H，SUN M.Study on quality measures for infrared and low－light－level image fusion［J］.Infrared Technology，2009，31(7):407－408(in Chinese).

［13］ MANDHARE R A，UPADHYAY P，GUPTA S.Pixel－level image fusion using brovey transforme and wavelet transform［J］.International Journal of Advanced Research in Electrical，Electronics and Instrcumentation Engineering，2013，2(6):2692－2693.

［14］ XUE D J，HE Zh W，QIU W X，et al.Quality assessment and application of remote sensing image fusion based on EML and SML［J］.Remote Sensing Information，2009(6):63－64(in Chinese).