平稳小波变换和模糊数学的红外与可见光图像融合∗

李婵飞邓奕

（汉口学院武汉430200）

提出了一种基于平稳小波变换（SWT）和模糊数学的图像融合算法，该算法具有较好的方向选择性与平移不变性，更适合人类在主观上的视觉认知。先用SWT对原图像进行分解获取低、高频分量，对低频分量采取基于红外、可见光图像不同特性的模糊数学融合准则，高频采用模值取大法融合。实验结果表明，论文算法能更好地改善图像视觉效果，标准差、信息熵和互信息等客观指标都有所提高。

图像融合；SWT变换；模糊数学

Class NumberTP751.1

1 引言

图像融合［1］是指把同一传感器对相同场景下不同时间点的多幅图像或多个传感器对同一场景的相似图像，利用图像间的互补或冗余信息进行集合的过程。它使得新图像满足图像处理中的分割、特征信息提取、目标识别的需要。图像融合现被广泛应用于军事、遥感处理、医学和安全防卫等领域。

传统的图像融合方法有金字塔（LPT）［2］、小波（DWT）［3］和非下采样轮廓波变换（NSCT）［4］。LPT变换会产生大量的冗余信息［5］，不能很好地体现原图像的方向信息；DWT变换没有平移不变性［6］，会在融合后的图像局部区域产生一定程度的振铃抖动效应；NSCT变换虽具备平移不变性［7］，但实时性差。SWT［8］变换拥有较好的方向选择性、平移不变性和较高的处理速率，在图像融合领域具备较大优势。该变换不仅可以对图像特征信息点进行精确定位、描述，还可以克服小波变换的振铃效应，有利于提升图像融合效果。

模糊数学［9］主要是基于隶属程度的思想，运用模糊统计的方法处理不确定性问题，易于理解，且具有灵活、包容性强的特点。将模糊数学应用到融合过程不确定的图像融合势必会取得较好的效果。

鉴于红外和可见光图像融合存在的问题，本文在SWT域内提出了基于SWT和模糊数学融合方法。提出的算法能较好地保持红外图像的灰度轮廓目标特征和可见光图像的场景细节信息，标准差、信息熵和互信息等指标都有所提高。

2 平稳小波变换

SWT变换［10］是继小波变换后的一种有效信号处理工具，具有多分辨率特性和平移不变性。正是平移不变性，使得它能够克服DWT变换在图像融合过程中引起的振铃效应问题。

SWT变换主要包括正、逆变换两部分。

SWT正变换过程如下：

其中，h(n)和g(n)分别为低、高通滤波器，A(j-1)和A(j)分别表示被分解图像在尺度2j-1和2j下的低频分量，H(j)、V(j)、D(j)分别表示被分解图像在尺度2j下的水平、垂直和对角方向的高频细节分量。

对平稳小波正变换的系数直接在变换域进行处理融合得到融合后的平稳小波系数，再进行逆变换获得融合图像。

平稳小波逆变换具体过程如下：

3 模糊数学

模糊数学是利用模糊集合和隶属函数等精确数学语言来描述模糊概念的方法，主要是基于隶属程度的思想，它拥有易于理解，灵活和包容性强的特性。

模糊集合和隶属函数的定义如下：

设在定义域X上定义了一个映射μA:X→[0,1]，x→μA(x)∈[0,1]，则A是X上的模糊集合，μA是A的隶属函数，μA(x)是x对A的隶属度，即有A={(x,μA(x))|x∈X}。显然，μA可以充分描述模糊集合A。

模糊逻辑主要有以下几个性质：

1）补集：μAE(x)=1-μA(x)；

2）交集：uA∩B(x)=min{μA(x),μB(x)}；

3）并集：uA∪B(x)=max{μA(x),μB(x)}。

建立符合实际的隶属函数是应用模糊数学建立图像融合数学模型关键之处，其中指派法、主观经验法、模糊统计法和二元相比排序法是比较常用的方法。模糊统计法是一种客观方法，它首先进行模糊统计试验，然后在试验结果基础上依据隶属度的客观性去创建μA。

4 融合准则

SWT和模糊数学的红外与可见光图像融合将原图像运用SWT分解获取低、高频部分，再针对红外、可见光图像低、高频不同特性对其采用不同融合准则融合获得融合后图像的低、高频部分，最后运用SWT逆变换得到融合图像。

4.1低频融合准则

图像低频子带主要包括源图像的近似特性，占有图像的大部分能量，因此低频子带融合准则好坏直接影响融合图像质量。红外图像含有的灰度信息较多，信息分布不均匀，可选取灰度值和空间频率［11～12］作为隶属函数。而可见光图像能较好地描述场景细节信息，灰度信息较丰富，可选取灰度值和梯度［13］作为隶属函数。

1）空间频率

其中：RF和CF分别是空间域的行、列频率，SF是空间域频率，F(i,j)是图像在像素点(i,j)处的灰度值，M,N是图像的尺寸。

2）梯度

其中：fx和fy分别表示图像在x、y方向进行差分运算的结果，M,N是图像尺寸。

由此，可得到各特性的隶属函数：

其中：abs(x)和max(abs(A))分别表示对图像A低频子带系数进行取模运算和模值最大值；SF为图像A在某像素点空间域频率，max(A(SF(x)))表示图像A低频系数各像素点对应频率的最大值；GD为图像A在某像素点梯度，max(A(GD))表示图像A低频系数各像素点对应子带系数的梯度最大值。

根据模糊数学原理，可得红外和可见光图像的隶属函数：

从而得到低频子带融合准则为

4.2高频融合准则

图像的高频子带主要承载源图像的细节特性，反映图像高频部分细节信息，高频子带的融合准则是模值取大法，即

5 实验结果

5.1图像融合评价方法

图像融合质量的优劣主要通过主、客观评价两类方法进行评价的［14］。主观评价是依靠人眼对融合后图像进行观察评判，优点是方便、直观，但易受主观因素影响。客观评价是通过一些数学指标衡量图像融合的质量，文中运用标准差、信息熵和互信息［15～16］三指标进行评价。

5.2图像融合实验结果与分析

为了验证方法的有效性，文中通过LPT、DWT、SWT、NSCT和本文方法对比。其中LPT、DWT、NSCT、SWT的低频子带选取均值法融合，高频子带选择模值取大法融合。不同方法融合后图像如图1和图2所示，评价指标如表1所示。

图1 源图像1及不同方法的融合结果

图2 源图像2及不同方法的融合结果

表1 图像融合结果客观评价指标

从图1、2和表1可以得出以下信息：

1）LPT、DWT、NSCT和SWT的融合图像整体轮廓和对比度不高，红外图像目标人物特征模糊不清，而本文融合算法获得的融合图像目标信息比较清晰，道路、山头等细节信息也得到了更好体现，且包含了更多源图像信息；

2）本文算法的融合后图像标准差、信息熵和互信息均有较大幅度提高。

综合上面信息可得到结论：

本文算法能较好地保持红外图像的灰度轮廓目标特征信息和可见光图像的场景细节特征信息，从主观和客观都可以更好地改善融合图像质量。

6 结语

本文将SWT和模糊数学相联合应用于红外与可见光图像融合过程中。用SWT对原图像进行分解后，运用基于红外、可见光图像不同特性的隶属函数相对应的低频子带融合规则对低频进行融合，可以更好地保持红外图像灰度轮廓目标特征信息和可见光图像场景细节信息，融合后图像的标准差、信息熵和互信息均有较大幅度提高，是一种有效的融合算法。

［1］扬扬.基于多尺度分析的图像融合算法研究［D］.长春：中国科学院大学博士学位论文，2013.

YANG Yang.Research on Image Fusion Algorithm based on Multiresolution Analysis［D］.Changchun：Doctoral Dis⁃sertation of Chinese Academy of Sciences，2013.

［2］朱瑞辉，万敏，范国滨.基于金字塔变换的图像融合方法［J］.计算机仿真，2007，24（12）：178-180.

ZHU Ruihui，WAN Min，FAN Guobin.Image Fusion Meth⁃od based on the Pyramid Transform［J］.Journal of Comput⁃er Simulation，2007，24（12）：178-180.

［3］王昕，李玮琳，刘富.小波域CT/MRI医学图像融合新方法［J］.吉林大学学报，2013，43（S1）：25-28.

WANG Xi，LI Weilin，LIU Fu.A New Fusion Method for CT/MRI Medical Images in Wavelet Domain［J］.Journal of Jilin University，2013，43（S1）：25-28.

［4］陈天华，林雨辰.基于NSCT变换的红外与可见光图像融合方法［J］.北京交通大学学报，2013，37（6）：18-21.

CHEN Tianhua，LIN Yuchen.Infrared and Visible Light Image Fusion based on Nonsubsampled Contourlet Trans⁃form［J］.Journal of Beijing Jiaotong University，2013，37（6）：18-21.

［5］罗鸿斌.基于拉普拉斯金字塔的数字图像融合研究［J］.自动化与仪器仪表，2014，173（3）：27-30.

LUO Hongbin.Research on Digital Image Fusion based on Laplacian Pyramid［J］.Automation and Instrumentation，2014，173（3）：27-30.

［6］叶明，唐敦兵.区域清晰度的小波变换图像融合算法研究［J］.电子测量与仪器学报，2015，29（9）：1328-1333.

YE Ming，TANG Dunbing.Image Fusion Algorithm Utiliz⁃ing Regional Definition in Wavelet Transform［J］.Journal of Electronic Measurement and Instrument，2015，29（9）：1328-1333.

［7］Huanxi Liu，Tianhong Zhu，Jiajia Zhao.Infrared and Visi⁃ble Image Fusion based on Region of Interest Detection and Nonsubsampled Contourlet Transform［J］.Journal of Shanghai Jiaotong University，2013，18（5）：526-534.

［8］韩亮，李婵飞，蒲秀娟.图像分割与平稳小波变换法融合红外与可见光图像［J］.重庆大学学报，2013，36（6）：112-118.

HAN Liang，LI Chanfei，PU Xiujuan.Image Fusion Meth⁃od for Infrared and Visible Light Images Utilizing Image Segmentation and Stationary Wavelet Transform［J］.Jour⁃nal of Chongqing University，2013，36（6）：112-118.

［9］Timothy J.Ross著，钱同惠，沈其聪，葛晓滨等译.模糊逻辑及其工程应用［M］.北京：电子工业出版社，2010.

Timothy J.Ross，QIAN Tonghui，SHEN Qicong，KE Xiao⁃bin.Fuzzy Logic and Its Application in Engineering［M］. Beijing：Publishing House of Electronics Industry，2010.

［10］Nason G P，Silverman B W.The Stationary Wavelet Transform and Some Statistical Applications in Wavelet and Statistics［J］.Lecture Notes in Statistics，1995，103：281-299.

［11］王琰.基于多尺度分解的图像融合研究［D］.北京：北京邮电大学，2013.

WANGYan.ImageFusionResearchbasedon Multi-scale Decomposition［D］.Beijing：Beijing Univer⁃sity of Posts and Telecommunications，2013.

［12］Q.Li，J.Du，F.Song，C.Wang，H.Liu，C.Lu.Region-based Multi-focus Image Fusion Using the Local Spatial Fre⁃quency［C］//Control and Decision Conference（CCDC），2013 25th Chinese，Guiyang，3792-3796.

［13］杨桄，童涛，陆松岩.基于多特征的红外与可见光图像

融合［J］.光学精密工程，2014，2（22）：489-496. YANG Huang，TONG Tao，LU Songyan.Fusion of Infra⁃red and Visible Light Images based on Multi Features［J］.Optical Precision Engineering，2014，2（22）：489-496.

［14］Liang Han，Chanfei Li，Xiujuan Pu.Image Fusion Meth⁃od for Infrared and Visible Light Images Utilizing Entro⁃

LI Weiping，YANG Jie.Recommended stochastic gradi⁃ent algorithm based on matrix decomposition Social Net⁃work［J］.Application Research of Computers，2014，31（6）：1654-1656.

［12］惠淑敏.基于影响强度的社会网络搜索算法研究［J］.图书情报工作，2012，56（2）：111-115.

HUI Shumin.Search Algorithm Based on the strength of social networks［J］.Library and Information Service，2012，56（2）：111-115.

［13］俞琰，邱广华.基于局部随机游走的在线社交网络朋友推荐算法［J］.系统工程，2013（2）：47-54.

YU Tan，QIU Guanghua.Recommendation algorithm based on online social network friends locally random walk［J］.Systems of Engineering，2013（2）：47-54.

［14］张红宇，王坚强，马华.结合社会网络分析和多维特征聚类的学习小组划分方法［J］.计算机应用研究，2013，30（3）：732-735.

ZHANG Hongyu，WANG Jianqiang，MA Hua.Study group partitioning systems engineering combined with so⁃cial network analysis and multidimensional clustering feature［J］.Application Research of Computers，2013，30（3）：732-735.

［15］刘亮，邱晓刚，陈彬，等.人工社会中社会网络构建研究［J］.系统仿真学报，2014，26（10）：2258-2263.

LIU Liang，QIU Xiaogang，CHEN Bing，et al.Artificial Social Construction of Social Network［J］.System Simula⁃tion，2014，26（10）：2258-2263.

［16］强小强，何小卫，韩建民，等.基于谱约束的随机化社会网络多点扰动方法［J］.计算机工程，2011，37（9）：98-100.

QIANG Xiaoqiang，HE Xiaowei，HAN Jianmin，et al. Multi-perturbation method based on spectral constraint randomization social networks［J］.Computer of Engineer⁃ing，2011，37（9）：98-100. py of the Histogram and Stationary Wavelet Transform［J］.Journal of Computational Information Systems，2013，9（10）：3883-3892.

［15］田秀华，兴旺.基于NSCT变换的医学图像融合研究［J］.计算机应用与软件，2013，30（4）：287-290.

TIAN Xiuhua，XING Wang.Research on Medical Image Fusion based on NSCT Transform［J］.Computer Applica⁃tion and Software，2013，30（4）：287-290.

［16］张小凤.可见光和红外图像融合质量评价研究［D］.武汉：华中科技大学，2007.

ZHANG Xiaofeng.Research on the Quality Evaluation of Visible Light and Infrared Image Fusion［D］.Wuhan：Huazhong University of Science and Technology，2007.

Image Fusion Method for Infrared and Visible Light Images Based on SWT and Fuzzy Mathematics

LI ChanfeiDENG Yi
（Hankou University，Wuhan430200）

A novel fusion method based on stationary wavelet transform and fuzzy mathematics is proposed in this paper.The technique is more suitable for human vision with good directional selectivity and shift-invariance.The original images are decom⁃posed by SWT.According to the different features of the infrared and visible light image，the different membership functions with fuzzy mathematics are utilized as fusion rule for low frequency subband coefficients.And the absolute value is adopted as fusion rule for high frequency subband coefficients.The gray contour target information for infrared image and scene detail information for visi⁃ble light image are better protected.The experimental results show that the visual effect of fused image is improved efficiently.Be⁃sides，the standard deviation，comentropy and mutual information are increased significantly.

image fusion，stationary wavelet transform，fuzzy mathematics

TP751.1

10.3969/j.issn.1672-9722.2017.05.018

2016年11月3日，

2016年12月27日

李婵飞，女，硕士研究生，讲师，研究方向：图像处理。邓奕，女，博士研究生，副教授，研究方向：智能控制技术。