胡家珲，詹伟达，桂婷婷，石艳丽，顾 星

基于多尺度加权引导滤波的红外图像增强方法

胡家珲，詹伟达，桂婷婷，石艳丽，顾 星

（长春理工大学 电子信息工程学院，吉林 长春 130000）

现有的红外图像存在细节模糊、边缘和纹理不清晰的问题。针对上述问题，本文提出一种基于加权引导滤波的红外图像增强方法。首先，将图像通过带转向核的多尺度加权引导滤波进行分层处理，得到多幅含有细节信息的细节层图像和基础层图像；接着，对细节层采用基于Markov-Possion的最大后验概率算法和Gamma校正算法对细节层进行增强；然后，对基础层采用限制对比度的自适应直方图均衡算法进行对比度拉伸，最后，进行线性融合得到增强后的图像。综合主、客观实验结果，得出本文方法具有良好的细节增强效果，处理后的图像边缘和纹理信息比较突出，且算法在信息熵（IE），熵增强（EME）和平均梯度（AG）3个指标都有较优的计算结果。基本满足红外图像细节得到增强，边缘纹理清晰的需求。

红外图像；引导滤波；细节增强；直方图均衡

0 引言

红外传感器可以捕捉到物体发出的热辐射，由于其良好的隐蔽性，受环境影响比较小，可24h全天候工作。其特殊的成像系统可摄取人体温度分布的热图像，探测电气设备的不良接触、以及过热的机械部件，也可用于目标检测，使得红外成像被广泛应用在军事、工业及民用等领域[1-4]。红外波段的辐射波长短于无线电波，长于可见光，空间分辨率高于雷达，但低于可见光[2]。由于目标与传感器距离较远，红外辐射会受到大气热辐射的影响，使得红外图像的灰度分布不均匀，对比度比较低，细节不明显且易缺失，不易于观察和识别[5-8]。因此，提高红外图像的对比度并增强细节成为红外图像处理的关键。

传统红外图像增强算法主要是基于映射的算法，这类算法以合适的映射关系来表达原始图像和增强图像之间的关系，常见的算法为直方图均衡（histogram equalization，HE）。HE算法能有效地增强图像对比度，但会因灰度级合并而造成细节信息的丢失。Wang等[9]提出在红外图像直方图计算中引入相邻像素之间的二维差分信息，在不过度增强的情况下增强了对比度。Wan等[10]采用局部加权散点平滑算法和局部最小值检验分割灰度直方图，对前景子直方图采用局部对比度加权分布均衡，但增强效果不稳定，边缘和纹理易模糊。该类算法复杂度低、能有效地增强图像对比度，但图像的轮廓和边缘纹理等信息因为对细节的忽视而不够凸显。

为了对细节信息进行增强，各国学者相继提出了各种红外图像细节增强算法。在高动态范围红外图像增强领域中，文献[11]提出一种基于双边滤波的增强算法（bilateral filter and digital detail enhancement algorithm，BF&DDE），该算法提出运用双边滤波将图像分为低频信息构成的基础层图像和高频信息构成的高频层图像，再用不同的算法对两层图像进行处理。文献[12]提出了一种基于引导滤波的增强算法（guided image filter and digital detail enhancement algorithm, GIF & DDE）。该算法将BF & DDE中的双边滤波替换为对边缘和纹理保留效果更好的引导滤波，对细节信息进行增强，由于引导滤波是将边缘和纹理信息保留在了基础层，其细节层含有边缘和纹理信息过少，且该算法对基础层只进行了对比度拉伸，导致其对细节层图像增强后的边缘和纹理不够突出。Chen等[13]提出一种利用能量梯度函数与多尺度引导滤波相结合的方法，在动态范围压缩时能够较好地保留图像的细节，但仍不满足主观上边缘和纹理信息突出的需求。

根据上述方法的特点和缺陷，本文提出一种基于多尺度加权引导滤波的图像增强方法。在滤波分层方面，本文方法提出将带转向核的引导滤波[14]与迭代多尺度方式相结合对图像进行分层处理，以获得更完整的细节；在基础层方面，采用限制对比度的自适应直方图均衡进行增强处理；在细节层采用基于Markov-Poisson分布的最大后验法和Gamma校正增强其细节信息。最后对基础层图像和细节层图像进行线性融合得到细节增强后的图像。该方法能对图像进行对比度拉伸的同时增强其细节信息，使图像的纹理和边缘更加清晰明显。

1 相关理论

1.1 加权引导滤波理论

引导滤波（guided image filter, GIF）[15]是一种基于局部线性模型的平滑滤波器，引导图像为本身时，对图像的边缘和纹理信息有较好的保护作用。引导滤波在某像素点处的输出可以表示为一个加权平均的形式，如下式：

式中：为输出图像；和代表像素的坐标；p为输入图像；为引导图像；W是引导图像的权重函数，其表达式如下：

引导滤波器假定在以像素为中心的局部方形窗口内，滤波输出是制导图像的线性变换，则其局部线性模型的表达式为：

式中：a、b是窗口中不变的线性系数，其值通过最小化代价函数确定，代价函数的表达式为：

由参考文献[16]可知GIF在滤波的同时还能保护边缘，但是由于对于任意窗口，其惩罚系数都采用同一值，忽略了像素间的差别。为此，文献[17]提出一种加权引导滤波（weighted guided image filtering，WGIF），采用基于窗口像素方差的边缘权重因子()来调节惩罚系数，公式(4)变为：

由上述公式和文献[17]可知加权引导滤波对局部窗口有一定的适应性。为了进一步提高引导滤波对局部窗口的适应性，Sun[14]等人提出一种带导向核的加权引导滤波（weighted guided image filtering with steering kernel，SKWGIF），将归一化局部转向核（steering kernel）[18]代入引导滤波中，表达式为：

式中：为控制核的平滑参数，x和x为像素坐标。是由以像素为中心的局部窗口计算得到的对称梯度协方差矩阵，式(3)变为：

由公式和文献[14]得，引入局部转向核的SKWGIF比GIF和WGIF有更好的边缘保持性。

1.2 限制对比度的自适应直方图均衡

红外探测器的原始图像经过滤波处理后存在对比度低，图像整体偏暗等问题，对基础层必须进行对比度增强处理。直方图均衡（histogram equalization，HE）可以对红外图像进行对比度增强，但处理后的图像部分区域的对比度增强过大，成为噪点；且边缘处经过调整后变得过暗。为了避免上述问题，本文采用限制对比度的自适应直方图均衡（contrast limited adaptive histogram equalization, CLAHE）算法[19]，该方法能有效地避免局部增强过大的问题，处理后的直方图分布更均匀，且能避免过度增强。CLAHE实现限制对比度的原理如下：

1）设定×大小的滑动窗口，则其局部映射函数M表达式为：

式中：DF()是局部直方图分布函数ist()的累积分布函数值。

2）灰阶映射函数的导数可视为对比度增强的幅度。局部映射函数M的导数为：

由公式(9)可知，通过限制ist()即可限制对比度的增强幅度。

3）求出直方图的最大高度：

4）设定阈值，如图1所示，将高度大于的直方图部分截掉，重新均匀地分布在直方图上，且最大值不会超过max，其中为设定的阈值，为补偿值。

直方图的总面积不变，整体灰度图上升高度，max，和之间满足以下关系：

＝max－(11)

重新分配后，得到的新的基础层图像的直方图分布为：

1.3 基于Markov-Poisson的最大后验概率

由于原始红外图像本身细节比较模糊，细节层的信息易丢失，导致其经过滤波处理的细节层图像含有的信息较少，分辨力下降，不利于人眼观察。为了合理地增加细节信息，本文采用超分辨率算法的思想对细节层进行处理。最大后验概率算法可用来增加图像的细节信息，但是增加的信息过于虚假，且与基础层相加会导致边缘纹理变得模糊；为了解决上述问题，文献[20-21]采用基于Poisson-Markov分布的最大后验概率算法（Poisson and Markov model Maximum a Posteriori, MPMAP）对细节层进行处理，其实现函数如下：

式中：g为图像像素灰度值；为迭代的阶数；是控制迭代速度和算法收敛的控制系数；()是Markov约束函数；为约束重量不平衡部分的自适应正则化参数；I,j为处理后的图像。

经过该算法处理后的细节层图像如图2所示，基于Poisson-Markov分布的最大后验法能够根据细节层图像合理增加图像的细节信息，使细节更明显，利于人眼观察。

2 本文方法流程

本文提出的方法流程如图3所示，先利用多尺度加权引导滤波器将图像分成基础层和多个红外细节层；其次，对第一层细节层图像进行基于Markov-Poisson的最大后验法处理，对第二层图像进行Gamma校正来对细节层进行增强，得到两幅增强后的细节层图像；同时对基础层图像进行限制对比度的自适应直方图均衡，得到增强后的基础层图像；最后将增强后的基础层图像与增强后的细节层图像线性融合，得到具有全局细节的增强图像。

图2 MPMAP对细节层处理后效果对比图

其中，为了得到完整的细节层图像，本文对多尺度加权引导滤波进行改进，将转向核与加权引导滤波相结合，并对多尺度的实现方式做出改进（详细内容见2.1节）；对细节层图像采用MPMAP和Gamma校正进行处理而达到增强细节层并突出边缘和纹理的目的。

2.1 对多尺度加权引导滤波的改进

为了获得红外图像中更完整的细节，文献[13]中提到了一种基于迭代的多尺度引导滤波实现算法，其表达式为：

式中：为输入的红外图像；为滤波后的基础层图像；为细节层图像，由原图像与滤波后的图像相减得到；为迭代次数，代表该算法中共进行次引导滤波。

图3 本文算法流程

为了对图像的边缘和纹理进行增强，本文对多尺度引导滤波做出改进，将GIF替换成SKWGIF（weighted guided image filtering with steering kernel），＝2即采用两次引导滤波，将第一次引导滤波得到的细节层图像作为第二次引导滤波的处理对象，得到一层含有丰富细节信息的第一层细节层图像和含有边缘、纹理信息的第二层细节层图像。此时的多尺度加权引导滤波的公式定义为：

式中：为滤波后得到的基础层图像；为第一次滤波得到的细节层图像；1为第二次滤波得到的细节层图像，2为减去1得到的第二层细节层图像。为保证第二层细节层图像含有边缘和纹理信息，需要将第一次的加权引导滤波的惩罚系数设置在0.16～0.25，第二次的加权引导滤波的惩罚系数设置为0.01～0.04。输入的红外图像与输出的图像、第二次滤波得到的细节层图像1和第二层细节层图像2的关系为：

2.2 对细节层进行MPMAP和Gamma校正的增强处理

对于多尺度加权引导滤波后得到的两幅细节层图像，由于第一层细节图像含有丰富的细节信息，本文采用MPMAP算法对第一层细节层图像做增强处理，合理增加其细节信息；对第二层细节层图像，采用Gamma校正达到增强其边缘、纹理信息的目的。对于基础层图像，采用CLAHE算法进行处理以达到拉伸对比度的目的。最后采用加权融合的方式对细节层图像和基础层图像进行融合。最终输出图像可以描述为：

3 实验结果及分析评价

为验证本文方法的可行性及有效性，本文选取3个场景进行对比试验。选用的3个场景分别为：图4(a)所示场景，该场景中包含的树干纹理信息较多，可作为算法处理后图像的重点观察对象；图5(a)所示场景，该场景中包含车辆，树干，电线和马路，包含的细节信息较为丰富；图6(a)所示场景，该场景中包含地面纹理信息较多且噪声较少，可作为算法处理后图像的重点观察对象。本文采取HE算法、Gamma校正算法、CLAHE算法、文献[10]提到的算法和本文方法分别对其进行处理，从主观和客观上进行对比和评价。其中，Gamma校正算法中的值设为0.8，本文算法中第一次和第二次加权引导滤波的惩罚系数分别设为0.01和0.06。

从不同算法处理效果来看，HE算法容易使图像的对比度拉伸过于严重，导致部分细节信息丢失，且对细节层没有增强效果，如图4(b)中，左上方中树的纹理信息丢失严重；图6(b)中，人物的衣服、汽车轮胎处过亮，部分细节信息丢失。Gamma校正算法容易使图像局部过亮，导致细节丢失严重，如图4(c)所示，整体偏亮且树干纹理较为模糊；文献[10]的算法对图像细节没有很好的增强效果，且细节模糊现象严重，如图4(e)所示，左上方的树枝纹理与原图相比更模糊；CLAHE算法因对全局进行对比度拉伸，使得其对比度有较好的改善，但因未对细节层进行增强，导致对边缘、纹理的突出效果不明显，且容易突出噪声，如图5(d)所示，天空中噪声严重。本文提出的方法由于采用多尺度加权引导滤波对图像进行分层处理，并对细节层进行MPMAP和Gamma校正处理，使得边缘和纹理明显、突出且清晰，如图4(f)所示，与其他图像相比不仅对比度得到改善，同时树干的纹理明显、清晰且自然；图5(f)中，与其他图像相比，右上方房屋的纹理的增强效果明显，路边的建筑边缘和纹理的突出效果明显；图6(f)与其他图像相比，左边树的纹理得到改善，地面纹理清晰。

图4 第一场景增强效果对比

图5 第二场景增强效果对比

图6 第三场景增强效果对比

为客观评价各算法对图像的增强效果，本文采用信息熵（IE），熵增强（EME）[22]和平均梯度（AG）3个客观指标对增强后的图像进行定量评价。其中，IE代表图像中的信息含量程度；EME是对图像局域灰度的变化程度的表现，局域灰度变化越强，图像表现出的细节越强；AG为图像梯度图上所有点的均值，反映了图像中的细节反差和纹理变化特征。表1、表2和表3分别为图4、图5和图6中各个算法处理后的图像的相关指标的计算结果。表1、表2和表3可以看出，HE算法的信息熵最高，但是其EME和AG相对较低，反映出其细节信息较差。本文方法与HE算法、Gamma校正算法，CLAHE算法和文献[10]中提到的算法相比，其指标相对较高，说明本文处理后的图像具有较高的质量，细节信息得到较好的增强，且图4(f)、图5(f)和图6(f)中纹理和边缘突出效果明显、清晰。综上可以看出本文方法红外图像增强效果较好，且具有可行性和优化性。

表1 图4对应图像IE，EME和AG指标

表2 图5对应图像IE，EME和AG指标

表3 图6对应图像IE，EME和AG指标

4 结论

为突出红外图像细节信息，使红外图像边缘和纹理清晰，本文提出一种基于多尺度加权引导滤波的红外图像增强方法。该方法将SKWGIF与多尺度引导滤波相结合对图像进行分层处理；对基础层用CLAHE算法，增强输出图像的对比度；采用MPMAP算法和Gamma校正算法对细节层进行增强处理，增加并突出输出图像的细节信息。实验结果表明，本文方法可以增强图像的对比度，同时对图像细节信息的增强效果明显，且增强后的图像纹理和边缘比较自然，清晰且明显。本文算法局限之处在于增强后的图像会出现块效应的现象。

[1] 鞠默然, 罗海波, 刘广琦, 等. 采用空间注意力机制的红外弱小目标检测网络[J]. 光学精密工程, 2021, 29(4): 843-853.

JU M R, LUO H B, LIU G Q, et al. Infrared dim and small target detection network based on spatial attention mechanism[J].., 2021, 29(4): 843-853.

[2] 赵尚男, 王灵杰, 张新, 等. 采用视觉特征整合的红外弱小目标检测[J]. 光学精密工程, 2020, 28(2): 497-506.

ZHAO S N, WANG L J, ZHANG X, et al. Detection of infrared dim small target based on visual feature integration [J].., 2020, 28(2): 497-506.

[3] ZHU D P, ZHAN W D, JIANG Y C, et al. MIFFuse: a multi-level feature fusion network for infrared and visible images [J]., 2021, 9: 130778-130792.

[4] 谷雨, 刘俊, 沈宏海, 等. 基于改进多尺度分形特征的红外图像弱小目标检测[J]. 光学精密工程, 2020, 28(6): 1375-1386.

GU Y, LIU J, SHEN H H, et al. Infrared dim-small target detection based on an improved multiscale fractal feature [J].., 2020, 28(6): 1375-1386.

[5] WANG Z J, LUO Y Y, JIANG S Z, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[6] WANG Y F, BAI X Z. Intensity inhomogeneity suppressed fuzzy C-means for infrared pedestrian segmentation[J]., 2018, 20(9): 3361-3374.

[7] ASHIBA H I, ASHIBA M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J]., 2021, 80(6): 9721-9747.

[8] JIANG Y C, LIU Y Q, ZHAN W D, et al. Lightweight dual-stream residual network for single image super-resolution[J]., 2021, 9: 129890-129901.

[9] WANG J J, LI Y, CAO L, et al. Range-restricted pixel difference global histogram equalization for infrared image contrast enhancement[J]., 2021, 28(2): 145-158.

[10] WAN M J, GU G H, QIAN W X, et al. Infrared image enhancement using adaptive histogram partition and brightness correction[J]., 2018, 10(5): 682.

[11] ZUO C, CHEN Q, LIU N, et al. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 127401.

[12] LIU N, ZHAO D X. Detail enhancement for high -dynamic-range infrared images based on guided image filter[J]., 2014, 67: 138-147

[13] CHEN F R, ZHANG J L, CAI JJ, et al. Infrared image adaptive enhancement guided by energy of gradient transformation and multiscale image fusion [J]., 2020, 10(18): 6262.

[14] SUN Z G, HAN B, LI J, et al. Weighted guided image filtering with steering Kernel[J]., 2019, 29: 500-508.

[15] HE K M, SUN J, TANG X O. Guided image filtering[J]., 2012, 35(6): 1397-1409.

[16] LU Z W, LONG B Y, LI K, et al. Effective guided image filtering for contrast enhancement[J]., 2018, 25(10): 1585-1589.

[17] LI Z G, ZHENG J H, ZHU Z J, et al. Weighted guided image filtering [J]., 2014, 24(1): 120-129.

[18] TAKEDA H, FARSIU S, MILANFAR P. Kernel regression for image processing and reconstruction[J]., 2007, 16(2): 349-366.

[19] YAKNO M, MOHAMAD-Saleh J, IBRAHIM M Z. Dorsal hand vein image enhancement using fusion of CLAHE and fuzzy adaptive Gamma[J]., 2021, 21(19): 6445.

[20] 刘秀, 刘咏, 林招荣. 最大后验概率算法在遥感图像复原中的应用[J]. 光学学报, 2013(B12): 206-212.

LIU X, LIU Y, LIN Z R. Application of maximum a posteriori algorithm in remote sensing image reconstruction[J]., 2013(B12): 206-212.

[21] 刘秀, 金伟其, 徐超. 基于MPMAP序列红外图像高分辨力重建和非均匀性校正[J]. 电子学报, 2011, 39(9): 2103-2107.

LIU X, JIN W Q, XU C. High-resolution reconstruction and non-uniformity correction from images sequences based on Poisson-Markov model MAP[J]., 2011, 39(9): 2103-2107.

[22] AGAIAN S S, PANETTA K, GRIGORYAN A M. A new measure of image enhancement[C]//, 2000: 19-22.

Infrared Image Enhancement Method Based on Multiscale Weighted Guided Filtering

HU Jiahui，ZHAN Weida，GUI Tingting，SHI Yanli，GU Xing

(,,130000,)

Existing infrared images have problems on fuzzy details, unclear edges, and texture. This paper proposed an infrared image enhancement method based on weighted guided filtering to solve these problems. First, multiscale weighted guided filtering with steering kernel layered the input images. It obtained detailed layer images and a base layer image. Subsequently, maximum posterior probability algorithm based on Markov-Poisson and Gamma correction algorithms enhanced the detailed layer images. Adaptive histogram equalization algorithm with limited contrast stretched the contrast of the base layer image. Finally, enhanced images were obtained through linear fusion. The subjective and objective experimental results show that the proposed method had good detail enhancement effects, and the edges and texture information of the processed images were relatively prominent. The proposed method had better calculation results for information entropy(IE), entropy enhancement(EME), and mean gradient (AG). It satisfies the requirements for enhanced infrared images and clear edge textures.

infrared image, guided image fitter, detail enhancement, histogram equalization

TP394.1；TH691.9

A

1001-8891(2022)10-1082-07

2021-12-13；

2021-12-26.

胡家珲（1996-），男，山东临沂人，硕士研究生，主要从事机器视觉、图像增强等方面的研究。E-mail: hujiahuia@163.com。

詹伟达（1979-），男，吉林长春人，博士，教授，博士生导师，主要从事数字图像处理、红外图像技术和自动目标识别等方面的研究。E-mail：zhanweida@cust.edu.cn。

吉林省发展与改革委员会创新能力建设专项（FG2021236JK）。