姜国庆，王世旭，王来军，韩 强，范晓晴，蔡银萍



基于联合稀疏和指导滤波的绝缘子红外与可见光图像融合方法

姜国庆1，王世旭1，王来军1，韩 强1，范晓晴2，蔡银萍2

（1. 国网河南省电力公司检修公司，河南 郑州 450001；2. 华北电力大学，河北 保定 071003）

针对绝缘子红外与可见光图像融合过程中存在绝缘子伞盘边缘信息模糊，亮度低和对比度差等问题，本文提出了基于联合稀疏和参数自适应选择指导滤波的图像融合方法。图像首先经过联合稀疏模型分解，提取共有特征、红外图像特有特征和可见光图像特有特征，并按照特有特征系数的活跃程度调整权重；同时应用参数自适应选择指导滤波方法，能够较好地保留绝缘子图像的边缘信息和细节信息。通过对比实验，本文方法融合结果亮度高、边缘清晰且边缘强度大，同时客观指标也较好。

联合稀疏；参数自适应；指导滤波；绝缘子图像；图像融合

0 引言

图像融合的本质是将两个或多个由不同成像机理的传感器获得的同一场景且已严格配准后的图像通过特定方法生成一幅包含输入图像信息的全新的关于此场景的描述，生成的新图像包含的信息是任何单一传感器图像所不能给予的[1]。目前图像融合技术已广泛应用到计算机视觉处理、军事侦察、医学图像诊断等领域。绝缘子红外图像具有一般红外图像的共性，如反映目标热信息、清晰度较差，但也具有独特的信息。绝缘子可见光图像能清晰地反映场景和边缘信息，但不具有热信息。因此，将绝缘子红外与可见光图像融合能够提高热故障定位精度，具有极大研究价值。

根据融合层次的不同，图像融合通常可分为3个层次：像素级融合、特征级融合、决策级融合[2]。像素级融合是最基本的层次，相对于其他两级融合来说，像素级融合在保持原始信息和细节信息方面有很大的优势，且方法简单易实现。主要包括基于空间变换的图像融合方法，基于多尺度分析的图像融合方法，基于统计的图像融合方法以及基于稀疏和压缩感知的图像融合方法。本文主要研究的重点是基于稀疏的红外与可见光图像像素级融合方法。

图像的稀疏表示和压缩感知近年来在图像处理领域受到青睐，不少研究者根据需要将改进的方法应用于图像融合之中[3]。在图像融合中，学者们往往要求图像最终的表示系数具有良好的稀疏性与特征保留性，这样在融合方法的设计中，就不需要考虑源图像那么多的像素个数，只考虑少量的稀疏系数就可以完成图像的融合。稀疏表示紧扣简单灵活的中心思想，将传统的正交基过渡为过完备字典，图像最终只由过完备字典中的经过线性组合的少数原子进行表示。经过这样的处理之后，整幅图像的能量就仅仅集中在少量现有的非零系数上，而这些非零系数和过完备字典中对应的原子真正代表的是原始图像信号的内部结构信息和主要特征信息。近年来提出的联合稀疏模型（Joint Sparsity Model, JSM）[4]在融合方面表现突出。

Yin H[5]将红外与可见光图像进行联合稀疏分解，分解成为共有特征和特有特征，将共有特征和特有特征采用加权的方法融合在一起，得到最终的融合图像。Yu N[6]提出了一种基于活动因子加权的共有特征和特有特征融合方法，但是简单的加权方法不能够将特有特征很好的融合在最终的稀疏系数之中，对于边缘和细节信息的表现也不是很好。Venkataraman A[7]将正交匹配跟踪方法与PCA（Principal Component Analysis）结合起来，使用联合稀疏方法来得到计算机断层扫描图像（CT）和核磁共振图像（MRI）的共有特征和特有特征。特有特征使用PCA进行融合，共有特征和特有特征通过加权平均进行融合，最后将融合的图像表示出来。Luo J[8]提出扩展的联合稀疏模型的彩色图像融合，通过RGB之间的联系，提出RGB间的两两的特有特征，使彩色图像达到最稀疏。最终融合彩色图像。王珺[9]等提出的方法是先对图像进行NSCT分解，对稀疏度较低的低频子带图像再进行一次联合稀疏分解，进而提取低频子带图像的共有和特有特征，并按照活动因子的大小自适应调整特有特征的权重系数。从上述总结可以看出联合稀疏已经初步应用到图像融合之中，但目前并没有更好地将特有特征融合在一起。

指导滤波[10]作为最近提出的局部线性滤波模型，其基本思想是某函数上的点可以用其邻近部分的点线性表示，这样一个复杂的函数就可以用很多局部线性函数来表示。当需要求该函数上某一点具体的值时，只需计算所有包含该点的线性函数的值并做平均即可；同时，在滤波过程中加入一个额外的指导图像并显式地表现在滤波器核函数之中。这样能快速实现图像平滑滤波和保留边缘的功能，在细节增强、去雾和去噪等方面有较好的应用，但在图像融合方面的研究还很不充分。LIS[11]等提出的图像融合方法是将图像分解成细节层和基础层，分别对基础层和细节层进行指导滤波，该融合方法保留了多个源图像的互补信息，但是如何提高该方法的性能，通过自适应地选择指导滤波器的参数有待进一步研究。

对变电设备的红外与可见光图像进行融合，发挥其在故障检测方面的作用是研究者们追求的目标。因此，针对变电设备中绝缘子图像融合过程中存在伞盘正面边缘信息不清晰、目标绝缘子亮度不高，对比度低等问题，本文将指导滤波与联合稀疏模型有机结合，应用到图像融合中，提出了一种基于联合稀疏和参数自适应选择指导滤波的融合方法。

1 相关理论介绍

1.1 联合稀疏模型

文献[4]中针对不同的应用提出3种不同的联合稀疏模型，分别是JSM-1（共有特征和特有特征均稀疏）、JSM-2（支持共有稀疏）、JSM-3（共有特征非稀疏，特有特征稀疏）。JSM-1更合适解决图像融合中的各类问题，因为经过JSM-1分解后的能够提取不同源图像的共有特征和特有特征。同时根据分布式信源编码的思想，所有的信号都具有相同的共有稀疏部分和各个信号独自的稀疏部分。因此要进行稀疏表示的源图像系数i可以被分解为两部分：共有系数c，它存在每一个源图像中；特有系数ui，它只存在于对应的某一个源图像中。依据JSM-1理论，共有系数用共有稀疏表示系数c表示，特有系数用特有稀疏表示系数ui表示，如公式(1)：

i＝c＋ui＝c＋ui(1)

由于本文只涉及到红外与可见光图像，可以将上述公式简化为：

式中：为过完备稀疏字典。这样将特有系数ui（=1,2）进行融合即可。

为了求解最稀疏解，即使得最稀疏，需要满足下式：

式中：为误差容限。代价函数具有的性质是其0范数非凸且高度不可微，此问题是一个常见的NP（Non-deterministic Polynomial）问题，一般都采用近似解代替，本文采用最为常用的正交匹配追踪（Orthogonal Matching Pursuit, OMP）方法求解。

在求稀疏系数优化问题的时候还涉及到字典更新，在每一次求解稀疏系数的时候更新字典，用来恢复我们的融合图像，以提高融合的效果。过完备字典是稀疏表示的基础，其构造主要有两类方法：一种是根据数学模型构造，常用的数学模型字典有离散余弦变换字典、过完备小波字典、脊波字典、曲波字典、轮廓波字典等[12]。但是这类字典存在一个共同的问题，未考虑待处理图像的具体特征，一般的适用性较差。为了更好地表示图像，研究人员提出样本学习字典的方法，如最优方向法（MOD），K-SVD和任务驱动的字典学习方法[13-14]。其中，K-SVD是最为常用的学习方法[15]。本文选择基于K-SVD的字典训练方法。K-SVD在更新字典时，是对字典中的所有原子逐个更新，并不是整个字典的一次更新，将字典中的原子每一个都更新一遍，就完成的一次字典的更新，一直更新到符合设计的要求为止。

1.2 指导滤波

图像的指导滤波[10]是一个线性移可变的滤波过程，包括指导图像，输入图像和输出图像。其中指导图像可以根据不同的应用选取不同的图像，也可以直接选为输入图像。对于输出图像中的第个像素O，其计算方法如式(4)：

式中：，为像素位置，W为指导滤波器的核函数。其定义如式(5)：

式中：w为第个核函数窗口；:(,)表示第个核函数窗口的像素位置；G和G是该核函数窗口内第个像素和第个像素的灰度值；代表指导图像在w中的均值；2表示指导图像在窗口w中的方差；||代表窗口w中的像素个数；是平滑因子。

指导滤波的基本思想是某函数上的点可以由其邻近部分的点线性表示，这样一个复杂的函数就可以用很多局部线性函数来表示。当需要求该函数上某一点具体的值时，只需计算所有包含该点的线性函数的值并求其平均值即可。同时，在滤波过程中加入一个额外的指导图像并显式地表述在滤波器核函数之中，能快速实现图像平滑滤波和保留边缘的功能。

2 参数自适应选择指导滤波

由于经典指导滤波存在不足，本文使用参数自适应选择指导滤波方法[16]，该方法在指导图像中加入相似性判断并自适应选择偏移函数和平滑因子的方法。加入相似性判断后确定的偏移函数和平滑因子，解决了原偏移函数和平滑因子选择未考虑窗口自身特性的问题，能够有区别地处理窗口内的局部边缘特征和细节信息。其方法流程如图1所示，具体步骤描述如下：

图1 参数自适应选择指导滤波流程图

步骤1：选择输入图像和指导图像，设定滤波窗口的大小＝(2＋1)(2＋1)，为窗口半径，||代表窗口内像素点的个数。

步骤2：分别以各像素为滤波窗口的中心像素，设置核函数参数，包括以下具体步骤：

步骤①：判断指导图像的当前滤波窗口中各像素点的灰度值i，1≤≤||和中心像素点的灰度值m是否相似，若像素点i的灰度值与中心像素点m的灰度值的差值的绝对值大于所述指导图像在滤波窗口中像素灰度值标准差的1/3，判断为不相似，将所述像素点的灰度值i置为0，否则判断为相似，所述像素点的灰度值i保持原值。

步骤②：统计当前滤波窗口中和中心像素点的灰度值m不相似的像素点的个数；判断其是否超过预设阈值（本文阈值设为窗口中像素点总数的1/3），如果未超过，设置偏移函数i为0；否则，偏移函数按公式(6)设置：

式中：偏移量Δ＝G－；MIN(w)、MAX(w)、分别为指导图像的当前滤波窗口内的最小像素灰度值、最大像素灰度值和像素灰度均值；G，1≤≤||为指导图像当前滤波窗口内的第个像素的灰度值。

步骤③：确定平滑因子，灰度相似性判断后，计算当前滤波窗口中像素灰度值的方差并保存在方差矩阵Var中。判断每一个滤波窗口的方差是否大于等于方差矩阵Var的均值，如果是，定义为大方差滤波窗口，否则，定义为小方差滤波窗口。大方差滤波窗口内的平滑因子小于小方差滤波窗口内的平滑因子，按公式(7)选择：

式中：和代表像素坐标；var代表方差矩阵Var的均值；Var(,)代表方差矩阵Var在(,)点的值。

步骤④：确定完偏移函数和平滑因子后，将其作为核函数的参数，输入到核函数(5)中：

步骤3：计算滤波后的灰度值，获得滤波后的图像矩阵并输出滤波图像。

将参数自适应选择指导滤波作为高频的融合规则，红外图像与可见光图像分别作为输入图像和指导图像，根据上述滤波步骤，得到的滤波结果作为新的高频子带系数。

3 融合方法

本文重点解决的是绝缘子红外与可见光图像融合中亮度和边缘问题，图像经过联合稀疏分解后，要选择相应的融合规则，完成对共有特征和特有特征系数的融合，本文提出的融合流程图如图2所示。

融合后的图像应该整合各个源图像的共有特征和特有特征，考虑到所有源图像对融合图像的贡献，融合图像应为共有特征与特有特征的叠加之和：

图2 融合方案框图

融合后的第个块矩阵按(11)式重构：

F＝F(11)

具体融合步骤如下：

步骤①：利用参数自适应选择指导滤波，源图像1作为指导图像，2作为输入图像，得到增强结果1e；同时，源图像2作为指导图像，1作为输入图像，得到增强结果2e。

步骤④：利用训练好的过完备字典，按(10)式得到融合后的第块稀疏系数F。按照(11)式求得融合后的第个块矩阵F，并按逆滑框算法重构得到新图像f。

步骤⑤：最终的融合图像F＝1e＋2e＋f。

4 实验结果比较与分析

为了验证本文基于联合系数和参数自适应选择指导滤波方法的有效性，与基于NSCT与参数自适应选择指导滤波的方法进行比较，定义为方法一；方法二选择联合稀疏和经典指导滤波[17]进行结合，方法三选择联合稀疏和自适应指导滤波[18]进行结合。本实验在两组不同的绝缘子红外与可见光图像上分别进行，图像大小均选择256×256像素且经过严格配准的图像。其中图(a)、(b)表示绝缘子红外及可见光图像，图(c)、(d)、(e)表示分别采用上述3种方法得到的实验结果，图(f)表示采用本文所提出方法得到的实验结果。字典大小均为64×256。

实验结果如图3和图4所示。

图3 第一组实验结果

图4 第二组实验结果

从图3及图4可以看出，本文方法在对比度、边缘方面较其他方法都有所提高。相对于方法一绝缘子轮廓更加清晰，正面伞盘信息更加全面，这是由于联合稀疏能够将源图像稀疏得较为彻底，而且能够分解出红外与可见光图像特有特征，更利于融合。方法二和方法三都基于联合稀疏，经过相同倍数增强后，从亮度和对比度来看，都要比本文方法低，说明经典指导滤波和文献中的自适应指导滤波在图像融合上的应用没有参数自适应选择指导滤波效果好。从绝缘子伞盘的边缘上看，本文的方法保持了绝缘子可见光图像伞盘正面清晰的边缘，同时也包含了红外图像的热信息。而且能看到由于光照造成的导线阴影也在融合结果中有所体现，说明融合结果对源图像的细节信息保留较好，对于光照造成的阴影部分能够清楚的体现出来。为了验证本文方法的有效性，采用归一化客观指标均值、信息熵、边缘强度、互信息对实验结果进行综合评价[18]，两组图像融合实验结果如表1、表2所示。

表1 第一组图像融合实验评价指标

表2 第二组图像融合实验评价指标

从表1及表2可以看出，本文基于联合稀疏和参数自适应选择指导滤波方法较其他方法在均值和互信息上优势较大，说明该在图像对比度和继承源图像信息方面优势明显，特别是在红外绝缘子继承热信息方面，对提高整体图像的对比度有很大的贡献。从信息熵来看，本文所研究的基于联合稀疏和参数自适应选择指导滤波方法优势并不明显，可能是由于在联合稀疏的过程中，丢失了一部分的信息，没有NSCT分解能够将信息较为全面的保留。从边缘强度看，本文方法边缘清晰，边缘强度值较高，能够体现绝缘子伞盘正面的边缘信息，达到最终的融合目的。

5 结论

针对绝缘子红外与可见光图像融合中存在伞盘正面边缘信息不清晰、目标绝缘子亮度不高，对比度低等问题，本文提出了一种联合稀疏和参数自适应选择指导滤波的融合方法。

1）由于经典指导滤波存在偏移函数和平滑因子选择未考虑窗口自身特性的不足，本文应用参数自适应选择指导滤波方法，能够有区别的处理窗口内的局部边缘特征和细节信息。

2）绝缘子红外图像与可见光图像联合稀疏模型分解之后，可以得到共有特征、红外图像特有特征、可见光图像特有特征，特有特征系数根据活动因子进行权重选择；参数自适应选择指导滤波增强图像的细节信息，代替源图像均值，在保留了图像的亮度信息的同时融合了绝缘子伞盘边缘信息。

实验结果表明，和其他3种方法相比，本文方法可以将可见光伞盘边缘信息与红外的热信息更好的融合，且融合结果中绝缘子伞盘正面边缘信息清晰，边缘强度较大，亮度较高，能够为绝缘子的故障检测奠定坚实基础。

[1] 彭海. 红外与可见光图像融合方法研究[D]. 杭州: 浙江大学, 2012.

PENG Hai. Study on fusion method of infrared and visible images[D]. Hangzhou: Zhejiang University, 2012.

[2] 胡建文. 基于多尺度滤波和稀疏表示的图像融合方法研究[D]. 长沙: 湖南大学, 2013.

HU Jianwen. Research on Image Fusion Method Based on Multi Scale Filtering and Sparse Representation[D]. Changsha: Hunan University, 2013.

[3] 梅家诚, 王瑞, 叶汉民. 结合稀疏表示与图像压缩融合的目标检测[J]. 红外技术, 2016, 38(3): 218-224.

MEI Jiacheng, WANG Rui, YE Hanmin. Compressive fusion and target detection based on sparse representation[J]., 2016, 38(3): 218-224.

[4] Duarte M F, Sarvotham S, Baron D, et al. Distributed compressed sensing of jointly sparse signals[C]//,, 2005: 1537-1541.

[5] YIN H, LI S. Multimodal image fusion with joint sparsity model[J]., 2011, 50(6): 1301-1305.

[6] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011, 5(5): 1074-1082.

[7] Venkataraman A, Alirezaie J, Babyn P, et al. Medical image fusion based on joint sparse method[C]// 2014(), 2014: 103-106.

[8] LUO J, YANG B, CHEN Z.[M]. Pattern Recognition, 2012: 497-504.

[9] 王珺, 彭进业, 何贵青, 等. 基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法[J]. 兵工学报, 2013, 34(7): 815-820.

WANG Jun, PENG Jinye, HE Guiqing, et al. Infrared and visible image fusion method based on non down sampling Contourlet transform and sparse representation[J]., 2013, 34(7): 815-820.

[10] HE K M, SUN J, TANG X. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[11] LI S, KANG X, HU J. Image fusion with guided filtering[J].:, 2013, 22(7): 2864-2875.

[12] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]., 2006, 15(12):3736-3745.

[13] ZHANG Q, FU Y, LI H, et al. Dictionary learning method for joint sparse representation-based image fusion[J]., 2013, 52(5): 057006-057006.

[13] Lewicki M S, Sejnowski T J. Learning overcomplete represen -tations[J]., 2000, 12(2): 337-365.

[14] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[15] HE K, SUN J, TANG X. Guided image filtering[C]//(ECCV), 2010: 1-14.

[16] 戚银城, 蔡银萍, 赵振兵, 等. 一种基于参数选择的图像自适应指导滤波方法[P]. 中国: 201510593.51.4, 2015.09.18.

QI Yinchen, CAI Yinping, ZHAO Zhenbing, et al. An adaptive supervised filtering method based on parameter selection[P]. China: 201510593.51.4, 2015.09.18.

[17] Pham C C, Ha S V U, Jeon J W. Adaptive guided image filtering for sharpness enhancement and noise reduction[C]//, 2011: 323-334.

[18] 李树涛, 王耀南, 张昌凡. 多传感器图像融合的客观评价与分析[J]. 仪器仪表学报, 2002, 23(6): 651-655.

LI Shutao, WANG Yaonan, ZHANG Changfan. Objective evaluation and analysis of multi sensor image fusion[J]., 2002, 23(6): 651-655.

Image Fusion with Joint Sparse and Guided Image Filtering forInfrared and Visible Images of Insulator

JIANG Guoqing1，WANG Shixu1，WANG Laijun1，HAN Qiang1，FAN Xiaoqing2，CAI Yinping2

(1.,450001,; 2.,071003,)

Aiming at the problem that the edge information of the insulator is fuzzy, the brightness is low and the contrast is poor in the fusion of the infrared and visible images, it is proposed that a method of image fusion based on joint sparse and parameter adaptive selection guided filtering in this paper. Images are first decomposed by joint sparse model, and common features, the unique features of infrared image and visible light image are extracted. The weights are adjusted according to the active degree of the characteristic coefficient. At the same time, this paper uses a parameter adaptive selection guided filtering method, which can preserve the edge information and detail information of the insulator image well. Through the contrast experiments, this method has shown high brightness, clear edge and large edge, and objective indicators are also better.

joint sparse，parameter adaptive，guided image filtering，insulator images，image fusion

TP391

A

1001-8891(2017)06-0523-06

2016-09-25；

2016-11-01.

姜国庆（1972-），男，高级工程师，研究方向：变电检修与运维。E-mail：jiangguoqing@hn.sgcc.com.cn。

国家电网公司科技项目（5217M015005X）。