李 牧，周瑞杰，田哲嘉

基于直方图的热红外图像增强方法

李 牧，周瑞杰，田哲嘉

（西安理工大学 自动化与信息工程学院，陕西 西安 710048）

为了改善热红外图像的增强效果，本文提出了一种基于改进的直方图裁剪方法的热红外图像增强算法。该算法核心是确定热红外原始图像与传统的直方图均衡化图像的直方图bins中像素点的数量差，再根据范围准则，将计算出的不同bins的差值划分为不同的区块。然后重新分配直方图，确定变换函数，得到增强后的热红外图像。该算法是一种改进的全局直方图均衡化方法，在对比度增强、直方图形状和细节信息之间可以做到较好的平衡。本文算法的峰值信噪比、结构相似度和均方误差的平均值分别为27.5、0.923和0.59，均优于其他算法，实验结果表明，该方法能有效增强热红外图像。

热红外图像；图像增强；直方图均衡化；直方图裁剪

0 引言

近年来，红外热成像技术是一个发展非常迅速的研究领域[1]。应用范围包括医疗诊断、建筑检查和工业检测维修，自然科学的可视化以及安防和军事探测等[2]。

红外热成像技术可以进行定性可视化和成像，同时也可以对物体表面温度进行定量测量。物体的分子、原子通过热运动会产生人眼不可见的红外波段的热辐射，再经过红外热成像系统将采集的红外辐射转换为热红外图像。在夜间和恶劣环境下热红外的成像能力远远优于可见光成像，但是由于大气中水分子对红外辐射的吸收，将会对热红外成像性能造成不良影响[3]。有时，成像传感器质量低、用户经验不足或者操作失误等原因，也会造成热红外图像的效果不理想，所以需要对图像进行一些处理使其更适合人眼观察或机器识别[4]。

图像增强技术是一种图像预处理方法，在改善图像效果，强调某些细节信息和特征等方面起着重要作用[5-7]。图像增强有多种方式，许多基于频域和空域、基于直方图均衡（histogram equalization，HE）[8]、基于融合[9]和基于Retinex[10]的方法已经被用以增强图像的对比度。其中，基于直方图均衡的对比度增强算法因其易于实现而被广泛应用。

热红外图像因受非均匀性和随机噪声的影响，与可见光图像相比，普遍存在空间相关性强、对比度低、信噪比低、边缘易模糊等问题，因此在处理方法上和可见光的处理存在差异。

本文针对热红外图像的成像特点，提出了一种改进的基于差分直方图bins技术的直方图裁剪方法，在保持原始直方图模式的同时，获得了良好的对比度增强效果。

1 直方图均衡化原理

直方图均衡化的目的是将随机分布的图像直方图修改成均匀分布的直方图[11]，如图1所示。

图1 直方图均衡化的目的

式中：1、2为灰度值；为不同灰度值对总灰度值的占比。

因此基于直方图均衡化的图像增强技术的基本思想是：对原始图像的像素灰度做某种映射变换，使图像灰度级概率密度函数（probability density function，PDF）进行重新排布，将原始图像直方图中较大概率的灰度级分散到更多的输出灰度级上，对较低概率的灰度级进行合并和压缩，从而在灰度级范围不变的情况下实现图像灰度的动态范围的增加，同时提高了图像的对比度[12]。该技术不仅用于可见光图像增强，同样也适用于热红外图像细节增强[13]。直方图均衡化示意图如图2所示。图中：、1和2为灰度值；()和eq()分别为原图像和直方图均衡化后图像的像素点个数；()为映射函数。

直方图均衡化原理如下：

假设输入红外热图像为＝ {(,)}，其中(,)表示像素的空间坐标，(,)表示图像灰度级。图像分辨率大小为×，则整个动态范围内的像素总数为，也就是说，(0,S－1)为，即＝×。的值等于2，为位数，此处＝8。

第一步，求解输入图像的概率密度函数如下：

(S)＝n/(1)

式中：＝0, 1, …,－1，n表示灰度等级为S时的像素点数。

图2 直方图均衡化示意图

第二步，求解累积分布函数（cumulative distribution function，CDF）如下：

直方图均衡是一种利用累积分布函数作为变换函数将输入的原始图像映射到所有动态范围的技术。它的转换函数(S)通过下式得到：

第三步，求得直方图均衡化后的图像：

式中：eq(,)是HE增强图像。

所有基于直方图均衡化的方法可以通过不同操作，例如子直方图、直方图裁剪处理、动态范围均衡化（dynamic histogram equalization，DHE）等，使得图像对比度增强[14-16]。然而，这些方法并没有考虑保存直方图中的峰值（直方图形状）。实际上，对于所有基于直方图均衡化的方法，通过改变直方图的峰值，都可以改善图像的对比度，而前文这些方法去除掉了图像中包含的关键细节或信息。本文提出的直方图裁剪方法主要是通过自适应地提高对比度来保持直方图中的峰值，这样才获得了比直方图均衡化方法更好的增强效果。

2 改进的热红外图像增强算法

本文提出的一种基于直方图bins差分的改进直方图裁剪方法的框架如图3所示。

图3 算法流程图

该方法具有一个自适应的特征，可以剪裁输入直方图的峰值。此外，利用输入图像直方图和均衡化后的直方图，得到裁剪后的直方图。该方法包括以下3个主要内容：

1）图像直方图；

2）改进的直方图裁剪过程；

3）直方图bins的差分。

2.1 改进的直方图裁剪方法

对输入图像(,)使用传统的直方图均衡化方法，得到增强图像eq(,)。再计算增强图像eq(,)的灰度直方图，用eq()表示。所有基于HE的方法都是以传统的HE方法作为比较方法，本文的方法利用了传统HE方法出现的过增强和欠增强的特性来提高图像质量，从而获得更好的对比度。

改进的直方图裁剪方法的核心思想就是控制增强率。参考文献[17]，提出了改进的自适应平台直方图均衡化方法，以确定直方图非空bins的中值作为裁剪阈值e：

通过式(6)计算修改后的剪裁直方图：

式中：()是输入图像的直方图；c()是裁剪直方图，范围准则'c()'参考式(7)：

式中：()表示直方图bins的差值。

2.2 直方图bins的差分

在基于HE的方法中，我们需要找到各子直方图的灰度值，并用相应的变换函数分别对每个子直方图做处理，这样得到的图像不仅在视觉效果上较差，而且图像的信息量也会减少[18]。为了克服这些缺点，本文提出使用直方图bins的差分方法。

通过式(8)计算直方图bins的差值：

()＝eq()－() (8)

式中：()是输入图像的直方图；eq()是HE直方图；()表示每个灰度值处的像素数量差。

在范围准则中，()的取值范围分为6个部分，目的是利用原始直方图和HE直方图建立新的直方图。

在得到修改后的直方图c()后，使用式(1)～(4)得到直方图均衡化增强图像。

范围准则中几个常数的选择参考了文献[19]，并对多组热红外图像进行多次试验后进行了调整。这些阈值可以产生一个新的累积分布函数，用于生成更接近原始图像的变换函数，该函数将输入灰度值映射到输出灰度值。由于该方法使用单一的映射，因此属于全局HE方法的范畴。

传统的HE强调了像素数较多的直方图bins的优势，像素数量较少的直方图bins往往被其干扰[20]。一般来说，因为拉伸直方图高频部分并压缩直方图低频部分的对比度，会将灰度集中到直方图的最左边或最右边，造成饱和效应[21]，如图4(b)所示：

图4 饱和效应：(a)原图及直方图 (b)HE增强图像及直方图

本文方法通过计算bins差值，克服了HE方法的缺点，并在高频和低频直方图bins中采用了原始直方图和增强直方图之间的自适应平均值，再利用HE方法的性质来保持输入直方图的形状。该方法通过使用特定的算法，生成了一个具有保留细节信息和直方图模式的对比度增强图像。

2.3 算法步骤

该算法的详细步骤如下所述：

Step 1：输入热红外原始图像，为灰度图像。

Step 2：得到输入图像的直方图和经过直方图均衡化后的HE直方图，分别为()和eq()，统计直方图信息。

Step 3：计算原始图像直方图()的中值e。

Step 4：比较e和eq() (＝0, 1, …, L－1)。如果eq()大于e，则修改后（剪裁）的直方图c()被指定为1.15e，否则进行下一步。

Step 5：使用公式(8)计算直方图的差值()。根据范围准则，()的取值范围分为6部分，由公式(7)为图像重新分配直方图，得到c()。

Step 6：使用直方图均衡化确定变换函数，通过其中的映射关系得到增强图像。

3 实验结果与分析

本文采用红外热像模组采集红外热图像，分辨率为384×288，像元间距17mm，帧率为25Hz。实验环境为MATLAB R2016a，在具有CPU I7@2.70GHz和8 G内存的系统中对图像进行处理。

3.1 主观评价

为了验证本文算法的有效性，对多组热红外图像进行实验。下面图5分别给出了(a)～(c)3组图像的原始图像，HE、CLAHE（contrast limited adaptive histogram equalization）、DSIHE（dualistic sub-image histogram equalization）和本文提出算法增强后的图像，并且给出各图像的直方图。通过比较能够发现与HE和DSIHE算法相比本文算法能够较好地保存直方图形状，CLAHE算法虽然也能够保持直方图的基本形状，但因为使用插值的原因，使得图像背景噪声被放大。从图像效果上来看，本文算法与其余算法相比，在图像峰值较多的情况下，如图(a)，能够较好地平衡对比度和直方图的形状及细节。若图像只有单峰值如图(c)，本文算法对图像的增强效果在视觉上不能取得理想效果。此外，观察本文算法在直方图中的表现，存在个别bins的数量“突变”。

3.2 客观评价

本文主要通过熵（entropy，ENT）、均方误差（mean square error，MSE）、峰值信噪比（peak signal to noise ratio，PSNR）和结构相似度（structural similarity index measure，SSIM）这4方面对图像作出客观评价[22]。

图5 增强图像及其直方图

熵指图像中灰度特征所包含的信息量，用式(9)表示：

式中：为灰度值；()为当前灰度值对灰度总数的占比。

均方误差可以评价数据的变化程度，通过均方值的大小来确定图像的失真程度，用式(10)来表示：

式中：、分别为图像的高和宽；X,j表示增强图像像素点灰度；S,j表示原始图像像素点灰度。

峰值信噪比指最大信号量与噪声强度的比值，同样可以用来评价图像的失真度，用式(11)来表示：

式中：一般取值255，MSE为均方误差。

结构相似度实际上是从亮度、对比度和结构信息3方面测量增强图像相对于参考图像的相似性，用式(12)来表示：

式中：、分别为原始图像和增强后图像；，，2，2，分别表示图像、的均值、方差和协方差，1、2为取值较小的常数。

表1～4给出图5中(a)～(c)三组图像对应的4种评价函数的值。从表1可以看出，与原图相比，CLAHE算法得到的图像熵有所增加，HE、DSIHE和本文算法得到的熵均有减少。分析表2～4，除表4中DSIHE算法对图(b)的处理得到的结构相似度略大于本文算法的结果（相差0.01）外，本文算法在均方误差、峰值信噪比和结构相似度上的表现均优于其他算法。

表1 不同算法的熵

表2 不同算法的均方误差

表3 不同算法的峰值信噪比

表4 不同算法的结构相似度

4 总结

本文针对热红外图像的成像效果不理想的问题，提出了一种基于改进的直方图裁剪方法的热红外图像增强算法。将输入图像直方图的中值作为裁剪阈值，利用基于HE方法的直方图bins的差分来保持输入直方图的形状，并通过范围准则重新分配直方图，最后生成具有保留直方图模式和细节信息的增强图像。本文选取3组图像进行对比，其中本文算法在均方误差、峰值信噪比和结构相似度上都具有较好的表现。实验结果验证了该方法的有效性，并发现在直方图存在多峰值的情况下算法效果最优。今后工作的研究重点是进一步优化范围准则，解决算法在直方图中表现出来的个别bins数量“突变”的问题，以及提高增强后图像的熵。

[1] 邢素霞, 张俊举, 常本康, 等. 非制冷红外热成像技术的发展与现状[J]. 红外与激光工程, 2004, 33(5): 441-444.

XING Suxia, ZHANG Junju, CHANG Benkang, et al. Recent Development and Status of Uncooled IR Thermal imaging Technology[J]., 2004, 33(5): 441-444.

[2] MA Wenpo. The development and applications of space thermal infrared imaging technology[C]//, 2009, 7383: 6.

[3] 金佩芬, 秦富贞. 基于改进Retinex算法的红外图像增强处理[J]. 激光杂志, 2016, 37(7): 43-46.

JIN Peifen, QIN Fuzhen. Infrared Image Enhancement Processing Based on Improved Retinex Algorithm[J]., 2016, 37(7): 43-46.

[4] LEE Jongsen. Digital Image Enhancement and Noise Filtering by Use of Local Statistics[J]., 2009, 2(2): 165-168.

[5] Sengee N, Sengee A, Choi H K. Image Contrast Enhancement using Bi-Histogram Equalization with Neighborhood Metrics[J]., 2010, 56(4): 2727-2734.

[6] Choi B, Yoon J. Adaptive contrast enhancement based on temperature and histogram for an infrared image[C]//, 2009: 1-2.

[7] 李灿林, 刘金华, 宋胜利, 等. 基于粒子群优化的红外图像增强方法[J]. 科学技术与工程, 2019, 19(15): 219-225.

LI Canlin, LIU Jinhua, SONG Shengli, et al. Infrared image enhancement method based on particle swarm optimization[J]., 2019, 19(15): 219-225

[8] WANG Y, CHEN Q, ZHANG B. Image enhancement based on equal area dualistic sub-image histogram equalization method[J]., 1999, 45(1): 68-75.

[9] Donia E A, El-Banby G M, El-Rabaie E S M, et al. Infrared Image Enhancement Based on Both Histogram Matching And Wavelet Fusion[C]//,,, 2016: 111-114.

[10] 张承泓, 李范鸣, 吴滢跃. 基于自适应引导滤波的子带分解多尺度Retinex红外图像增强[J]. 红外技术,2019, 41(4): 31-36.

ZHANG Chenghong, LI Fanming, WU Yingyue. Infrared Image Enhancement Based on Adaptive Guided Filter and Sub-band Decomposed Multi-scale Retinex[J]., 2019, 41(4): 31-36.

[11] WANG L, YAN J. Method of infrared image enhancement based on histogram[J]., 2011, 7(3): 237-240.

[12] ZHANG Y, WU L, LI T, et al. Image histogram equalization enhancement based on PCNN[J].:, 2010, 40(1): 64-68.

[13] 赵文达, 续志军, 赵建, 等. 基于梯度直方图变换增强红外图像的细节[J]. 光学精密工程, 2014, 22(7): 262-268.

ZHAO Wenda, XU Zhijun, ZHAO Jian, et al. Enhancement of infrared image details based on gradient histogram transform[J]., 2014, 22(7): 262-268.

[14] 李贤阳, 阳建中, 杨竣辉, 等. 基于改进的直方图均衡化与边缘保持平滑滤波的红外图像增强算法[J]. 计算机应用与软件, 2019, 36(3): 96-103.

LI Xianyang, YANG Jianzhong, YANG Junhui, et al. Infrared image enhancement algorithm based on improved histogram equalization and edge preserving smoothing filtering[J]., 2019, 36(3): 96-103.

[15] NIU Y, WU X, SHI G. Image Enhancement by Entropy Maximization and Quantization Resolution Upconversion[J]., 2016, 25(10): 4815-4828.

[16] 韦瑞峰, 赵荣普, 徐肖庆, 等. 基于直方图的红外图像细节增强算法研究[J]. 红外技术, 2016, 38(6): 472-475.

WEI Ruifeng, ZHAO Rongpu, XU Xiaoqing, et al. Infrared Image Detail Enhancement Based on Histogram[J]., 2016, 38(6): 472-475.

[17] Kong N S P, Ibrahim H, Ooi C H, et al. Enhancement of Microscopic Images Using Modified Self-Adaptive Plateau Histogram Equalization[C]//, 2009: 308-310.

[18] Yoon, Byoung-Woo. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 1-8.

[19] Kandhway P, Bhandari A K. Modified clipping based image enhancement scheme using difference of histogram bins[J].,2019, 13(10): 1658-1670.

[20] Ooi C H, Isa N A M. Quadrants Dynamic Histogram Equalization for Contrast Enhancement[J]., 2010, 56(4): 2552-2559.

[21] Arici T, Dikbas S, Altunbasak Y. A Histogram Modification Framework and Its Application for Image Contrast Enhancement[J]., 2009, 18(9): 1921-1935.

[22] Gonzalez R C, Woods R E.[M]. Singapore: Pearson Prentice Hall, 2002. 75-215.

A Thermal Infrared Image Enhancement Method Based on Histogram

LI Mu，ZHOU Ruijie，TIAN Zhejia

(School of Automation and Information Engineering, Xi'an University of Technology, Xi'an 710048, China)

To improve the enhancement of infrared thermal images, this paper proposes an algorithm based on an improved histogram clipping method. The algorithm determines the difference between the number of pixels in the histogram bins of the original thermal infrared image and the traditional histogram equalization image. Subsequently, based on a specific range criterion, the calculated difference of various histogram bins is divided into different blocks. Next, the histogram is redistributed, and a transform function is determined to obtain the enhanced thermal infrared image. The algorithm is based on an improved global histogram equalization method, which achieves a suitable balance between contrast enhancement, histogram shape, and detail information. The experimental results demonstrate that the average values of the peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mean-square error (MSE)—27.5, 0.923, and 590 respectively are better than those of other algorithms. Thus, this method effectively enhances the thermal infrared image.

image enhancement，histogram equalization，thermal infrared image，histogram clipping

TP391

A

1001-8891(2020)09-0880-06

2020-01-08；

2020-08-22.

李牧（1973-），男，高级工程师,研究方向为基于热红外的物体特征提取技术研究。

周瑞杰（1995-），男，硕士研究生，研究方向为雷达、热红外信息融合。E-mail：2170321217@stu.xaut.edu.cn。