APP下载

基于扩展大气散射模型的低光照图像增强算法

2023-07-12王满利陈冰冰张长森

光子学报 2023年6期
关键词:图像增强亮度光照

王满利,陈冰冰,张长森

(河南理工大学 物理与电子信息学院,焦作 454000)

0 引言

低光照环境下采集的图像对比度低、细节特征弱,严重影响了视觉检测的准确度与稳定性,需要对图像进行增强。近十年来,低光照图像增强技术得到长足发展,当前的算法主要包括:基于直方图的方法[1]、基于Retinex 的方法[2-4]、频域变换方法、图像融合方法[5-7]、基于深度学习的方法[8-10]以及基于大气散射模型的方法[11]等。其中,基于直方图的方法可以有效提高图像对比度,但易引起颜色失真和噪声放大;基于Retinex的方法增强效果较好,但增强图像边界区域容易出现光晕现象,也常常引起图像局部过曝光;基于频域变换和图像融合技术的方法,其对比度提升能力明显弱于直方图变换和Retinex方法,且计算量也往往高于直方图变换和Retinex方法;基于深度学习的方法依赖大量的低光照数据集,对于特定视觉应用场合缺少相应的低光照数据集,而通用低光照数据集一般难以反映特定场景特征,因此,基于深度学习的图像增强方法需要投入大量的人力、物力制作数据集,实施较为耗时;基于大气散射模型的方法利用低光照逆图像与雾气图像的相似性实现低光照图像增强,增强效果较好,FENG X等[12]结合基于先验和深度学习的方法,将反转后的图像引入金字塔型密集残差块网络中估计传输图,该算法提高了成像场景的整体亮度和对比度,得到的增强图像清晰自然。WANG Y等[13]通过分析场景反射与大气光和传输图之间的单调性,提出了吸收光散射模型(Absorption Light Scattering Model,ALSM),合理地解释了低光照图像的成像过程,可以恢复低光照图像中隐藏的轮廓和细节,但存在噪声放大的问题。基于大气散射模型的方法具有较好的性能和较低的计算复杂度,但仍存在过度增强和细节性差等问题,总的来说,传输图优化是其难点,因为传输图估计的好坏直接影响其增强效果。

基于上述原因,针对现有低光照图像增强方法的不足,提出了基于扩展大气散射模型(Low Image Extend Atmospheric Scattering,LIEAS)的低光照图像增强算法,算法推导获得的增强模型与Retinex增强模型(Retinex Enhancing Model,REM)形式相似,但多了一项校正项(Correction Term,CT),该项可以更好地抑制图像中过度增强和细节丢失的问题。同时,采用主成分分析法(Principal Component Analysis,PCA)融合主要结构传输图和精细结构传输图,获得纹理细节剔除的局部一致性优化传输图,可以较好地再现图像中的轮廓和纹理细节。

1 低光照图像增强算法设计

低光照图像反转后,天空和背景区域的像素在颜色通道中具有较高强度,而非天空区域在至少一个颜色通道中具有低强度,类似于雾天图像[11]。图1展示了低光照图像与雾气图像的对比,图中包括反转低光照图像及其逆图像与雾天图像。基于此,由大气散射模型(Atmospheric Scattering Model,ASM)推导获得本文增强算法LIEAS的模型及其求解算法,LIEAS采用了全新的大气光和传输图的估计方法,在实验基础上验证提出方法的有效性。

图1 低光照图像与雾天图像Fig.1 Low light image and hazy image

LIEAS算法框架如图2所示。实现过程为:首先,将低光照图像的红(R)、绿(G)、蓝(B)三通道中最大强度像素做自适应伽马校正获得初始传输图;然后,通过结构优化进行传输图精细化,得到局部一致性的优化传输图,更好地实现增强图像的细节恢复与颜色保真,同时利用最大亮通道的局部滤波图像估计逆大气光值;最后,将传输图与逆大气光值代入LIEAS求解模型,得到颜色自然、对比度良好的增强图像。

图2 基于扩展大气散射模型的低光照图像增强算法框架Fig.2 Framework of low-light image enhancement via extend atmospheric scattering model

1.1 扩展大气散射模型的低光照图像增强模型

在计算机视觉和图形学中,广泛用于描述雾天退化图像[14]的模型为

式中,x表示像素在图像上的位置,I(x)表示观测图像,J(x)表示无雾图像,A表示全局大气光,t(x)表示传输率。当大气光均匀时,传输率可表示为

式中,β表示大气散射系数,d(x)表示场景深度。传输率会随着深度呈指数衰减,去雾图像J(x)的计算公式为

鉴于低光照图像反转后与雾天图像的相似性,将低光照图像用I表示,则其反转后图像可以表示为1-I,代入式(3),将式(3)的去雾图像再次反转,可获得低光照增强图像,将增强图像仍表示为J,则可得到增强图像计算公式为

经数学变形重新整理后,得到式(5),可作为低光照图像的增强模型。

将式(5)中1-A替换为,可得到最终增强图像的计算公式为

比较式(3)与式(6),两个模型的区别在于分子项,一个是A,另一个是。式(3)中大气光值A可以利用暗通道中最亮像素估计,式(6)中的物理意义不再是大气光,称之为逆大气光,采用亮通道中最暗的像素估计,t仍为传输图。式(6)在结构上类似于ASM,称其为扩展大气散射模型,基于该模型的增强算法即为LIEAS,其统一了低光照图像增强和图像去雾的表达式。

简易Retinex模型表示为

式中,R表示反射分量即增强图像,I表示低光照图像,L表示光照图。式(6)与式(7)两个模型形式上相似,区别于式(6)多了一项(1-t)/t,称之为校正项(CT)。

基于简易Retinex模型得到的增强图像亮度很高,但易引起图像局部过曝光,图像过亮常会掩盖或弱化细节。图3展示了去除CT的简易Retinex模型算法(Delete Enhancement,DE)与LIEAS的增强结果对比。Ori为低光照图像,LIEAS为对应的增强图像,CT为校正项视觉图像,DE为LIEAS去除CT的简易Retinex模型算法的增强图像。由图可知,去除CT项后的增强图像整体亮度有所提高,但其色彩自然度和细节都有所损失,如图3(a)中的人员放大后,红色衣服细节丢失,图3(b)中水面后的灌木失去了固有的深绿色,局部过曝光,图像产生了颜色偏移,LIEAS增强后的图像细节更加突出,图像更自然逼真。

图3 LIEAS和DE模型的图像细节与图像颜色比较Fig.3 LIEAS and DE models for image detail and image color comparison

1.2 逆大气光值求解

HE Kaiming等[14]提出了暗通道先验方法估计雾气图像的传输图和大气光值,图像暗通道定义为

式中,Jdark表示暗通道图像,c表示图像通道,Ω(x)表示以x为中心的r×r窗口,min表示取最小操作。式(9)为亮通道表达式,式(10)为逆大气光值估计式。

式中,Ibright(x)表示亮通道图像,()表示取最大值操作,()表示区域最大值滤波,为避免噪声干扰,求解亮通道时进行区域最大值滤波。式(10)中,选取最大亮通道中最暗的后0.01%的像素计算Aˉ,像素总个数为K。

1.3 传输图求解

1.3.1 初始传输图

选取图像颜色通道最大值并进行伽马(Gamma)校正,作为初始传输图,其计算式为

1.3.2 传输图优化

1)主要结构提取

主要结构采用结构约束优化方法提取,即相对全变分(Relative Total Variation,RTV)方法[15],RTV采用像素加窗总变差度量项ϑ和窗口固有变化度量项ς构成目标函数正则项,x和y分别表示ϑ和ς水平与垂直方向度量值,定义为

式中,ϑx(p)和ϑy(p)分别表示像素p在x、y方向加窗的总变差,其可以计算窗口R(p)的绝对空间差异;q表示二维像素,属于R(p),R(p)表示以像素p为中心的矩形区域;gp,q是根据空间相关性定义的权重函数gp,q∞ exp(-((xp-xq)+(yp-yq))/2σ2),σ表示尺度因子控制权重函数分布形状;∂x和 ∂y表示两个方向上的偏导数,(∂xt)q和(∂yt)q分别表示传输图t在x、y方向上的偏导数;ςx(p)和ςy(p)分别表示像素p在x、y方向上整体的空间变化。

为更好地在视觉显示区域加强纹理和结构之间的区分度,结合ϑ和ς形成了一种有效的结构纹理分解正则化器,用于传输图的结构化提取,将初始传输图t~作为输入图像,RTV的目标函数为

2)精细结构保留方法

精细结构采用基于区间梯度[16]的图像结构纹理分解方法获得,该方法自适应平滑图像梯度,过滤图像中的纹理。利用区间梯度可以有效区分精细结构边缘与纹理变化,利用梯度引导获得高质量的精细结构保留的滤波图像,一维离散信号f中,区间梯度定义为

式中,grσ,glσ分别表示左右裁剪的高斯滤波函数。与正向微分不同,区间梯度测量的是一个像素周围信号的左右部分加权平均值之间的差值。然后,用区间梯度进行梯度缩放,其作用主要是增大纹理区域与结构区域的差别,缩放公式为

式中,(∇′f)p表示新梯度,wp表示缩放权重,εs为一个小正数防止分母为零。对于结构边缘和平滑变化的区域,梯度是不变的,wp= 1;纹理区域中wp<1。局部重新调整梯度,累积结果仍然可能包含较小未滤波振荡,并偏离原始信号,因此,选择导向滤波校正,可以在不引入梯度失真和过锐化边缘的情况下保留边缘和拐角精细结构。对于二维图像,采用x、y方向交替一维滤波方法进行滤波。将初始传输图作为输入图像代入,避免滤波结果的梯度反转,保留了图像的精细结构细节。

3)传输图优化求解

为了充分利用RTV提取的主要结构和梯度滤波获得精细结构,采用基于PCA融合方法优化传输图。PCA融合是经典空间域融合方法,该方法利用主成分分解可以保留原数据主特征信息这一特点,由两源图像获取协方差矩阵及其特征值和特征向量,据此确定图像融合算法的加权系数和最终融合图像。首先,将二维图像转化为一维向量,并由一维向量构造数据矩阵X,然后,计算X的协方差矩阵的特征向量矩阵V和相应的特征值矩阵D,据此计算相应的加权系数,最后加权融合获得优化的传输图t。

将两幅图像转换为两维向量X,对其协方差矩阵C做特征值分解,获得2×2特征向量矩阵V和特征值矩阵D,其计算为

式中,Eig表示特征值分解,Cov表示协方差计算。之后根据式(19)和式(20)计算融合权重系数。

式中,V1表示1维元素向量,D(i,i)表示D的对角元素的第i个元素,V(:,i)表示V的第i列,i=1,2。

式中,Wi为加权系数。

将两种结构传输图优化融合,较好地剔除了初始传输图中的纹理干扰信息,获得结构精细优化的传输图t,即

式中,Si为待融合的主要结构传输图和精细结构传输图。

2 增强算法实现

根据图2所示算法框架,基于扩展大气散射模型的低光照图像增强算法具体实施步骤为:

1)获取图像通道最大值

2)逆大气光值求解

对图像通道最大值进行区域最大值滤波,根据式(10)亮通道中的暗像素求解,得到逆大气光值。

3)传输图求解

对获得的图像三通道最大值进行伽马校正,根据式(11)获得初始传输图;

4)传输图优化

利用PCA融合方法进行传输图精细化,计算融合权重系数Wi,根据式(21)融合策略,得到局部一致性的优化传输图t。

5)获取低光照增强图像

3 实验结果与分析

为综合评价本文算法的有效性,分别开展参数分析实验、模型分析实验和性能对比实验。实验硬件平台为DELL笔记本电脑,处理器配置为Intel Core i5-7200U,主频2.50 GHz,内存8 G;软件平台为Matlab R2016a。测试图像包括城市街景、自然场景和室内图像。

性能对比实验中,对比算法包括基于光照图估计的低光照图像增强算法(Low Illumination Map Estimation,LIME)[2]、基于非均匀光照图像的保真度增强算法(Naturalness Preserved Enhancement,NPE)[17]、一种同时估计反射率和照度的加权变分模型(Simultaneous Reflectance and Illumination Estimation,SRIE)[18]、基于生物启发的多曝光融合的低光照图像增强算法(Bio-Inspired Multi-Exposure Fusion,BIMEF)[19]、一种基于融合的低光照图像增强方法(Multiple Fusion,MF)[20]、基于低光照图像增强的双分支曝光融合网络(Two-Branch Exposure-Fusion Network,TBEFN)[21]、一种低光照图像增强的照明网络(Deep Lightening Network,DLN)[22]、一种用于低光照图像增强的零参考深度曲线估计算法(Zero-Reference Deep Curve Estimation,Zero-DCE)[23](为方便表述,进一步简称该算法为 Zero)。

为客观评价算法的增强性能,实验中分别采用空间频率(Spatial Frequency,SF)、平均梯度(Average Gradient,AG)、边缘强度(Edge Intensity,EI)和自然图像质量评估(Natural Image Quality Evaluator,NIQE)[24]等指标评价增强图像质量。

空间频率(SF)用于衡量图像的频率信息丰富性,其值越大,图像细节信息越丰富。表达式为

式中,RF和CF分别为行频率和列频率,M、N分别为图像的宽和高,I(i,j)为图像在(i,j)处的像素值。

平均梯度(AG)用于衡量图像的清晰度,能够反映出图像中微小细节反差和纹理变换特征,其值越大,图像质量越高。表达式为

式中,m、n分别为图像的宽和高,fi,j为图像像素(i,j)的灰度值。

边缘强度(EI)用于衡量图像的边缘特征丰富性,其值越大,图像边缘特征越丰富,图像质量越高。表达式为

式中,M、N分别为图像的宽和高,F为图像,hx和hy为x和y方向上的Sobel算子,Sx和Sy为图像与hx和hy的卷积结果。

自然图像质量评估(NIQE)用于衡量图像自然度,评判图像是否符合人眼视觉感官,其值越小,图像效果越好。表达式为

式中,v1,v2和∑1,∑2分别为自然图像和失真图像的多元高斯模型的均值向量和协方差矩阵。

3.1 参数分析

3.1.1 伽马矫正参数分析

为分析γ取值对增强结果的影响,选用不同测试图像实验,其中测试图像T1、T2和T3在不同γ取值下的实验结果如图4所示,不同γ取值后增强图像的客观指标统计如图5所示。

图4 不同γ值的图像增强结果Fig.4 Enhancement images with different γ

图5 不同γ值的增强图像的指标值Fig.5 Evaluation of enhanced images with different γ value

由图4可知,当γ取值较小时,增强图像亮度较低,色彩不鲜明,细节不清晰。随着γ的增大,增强图像亮度显著提升,当γ取值为0.8时,图像增强效果最好,细节最丰富,图像整体最自然。当γ取值为1时,增强图像存在局部过曝光问题。

由图5可知,增强图像的SF和AG值都随着γ值增大而增大,当γ取值为0.8时,SF和AG增加缓慢,个别图像的SF和AG值甚至开始下降,这是由于过大的γ值引起了细节损失。综合主观视觉效果和客观评价指标可知,LIEAS算法的γ值为0.8时,图像增强效果最好。

3.1.2 逆大气光值求解窗口大小分析

为分析亮通道最大值滤波时,窗口大小对图像增强质量的影响,选用不同窗口大小对实验图像进行增强,增强结果如图6所示。

图6 不同窗口尺寸的增强图像Fig.6 Enhanced images of different win size

由图6可知,当窗口尺寸取1×1和5×5时,增强图像亮度过高,图像不自然;当窗口取25×25和30×30时,增强图像亮度过低,图像颜色偏深,尺寸过大和过小均不符合人眼视觉感官,大量实验统计发现窗口大小为15 × 15时,获得的增强图像颜色最自然,因此,LIEAS的其余实验中,最大值滤波窗口大小设置为15 × 15。

3.1.3 逆大气光值求解的暗像素选取分析

为分析亮通道最暗元素选择比例对图像增强效果的影响,选取亮通道最暗元素不同比例的像素求解逆大气光值,其中测试图像T6、T7的增强结果如图7所示。

图7 亮通道不同像素的增强图像Fig.7 Enhanced images of different pixel of bright channels

由图7可知,亮通道最暗元素选择比例为后0.2%和0.1%时,增强图像的亮度和对比度较低,亮通道最暗元素选择比例为后0.001%时,增强图像亮度过高且图像细节弱化。亮通道最暗元素选择比例为后0.01%时,增强图像的亮度和对比度最符合人眼视觉观感,因此选用0.01%作为本文实验的亮通道最暗元素选择比例,以求解逆大气光值。

3.1.4 传输图优化方法对比分析

为验证本文所提出的基于融合技术的传输图优化方法的性能,对比分析了几种常见的传输图优化方法,包括导向滤波器(Guided Filter,GF)、双边滤波器(Bilateral Filter,BF)和加权最小二乘法(Weighted Least Square,WLS),不同优化方法对应的增强结果如图8所示。

图8 不同优化方法下的增强图像和传输图Fig.8 Enhanced image and transmission map under different optimization methods

由图8可知,GF和BF优化后的传输图细节保留过多,整体结构不够平滑,WLS和本文方法优化后的传输图精细结构更为平滑,整体结构良好,这表明算法能更好地区分细节纹理和结构。对比对应的增强图像可知,图8(b)红框中房子模糊不清,图8(c)中图像亮度较低,图8(d)图像清晰度不如图8(e)。本文方法增强后的图像对比度更高,纹理边缘保持相对更好一些。

3.2 LIEAS图像增强与去雾实验分析

3.2.1 增强算法中校正项分析

LIEAS与简易Retinex模型形式相似,区别在于LIEAS多了一项校正项,为验证分析校正项的作用,选择具有代表性的Retinex算法:LIME与LIEAS进行主观和和客观两方面的对比分析。增强结果如图9所示,Ori为低光照图像,DE表示LIEAS去掉CT项的简易Retinex模型算法。

图9 不同模型的增强图像比较Fig.9 Comparison of enhancement images of different models

由图9可知,DE与LIME增强后的图像在视觉上有很大的相似性,整体图像偏亮。T8中,DE和LIME增强后的地砖纹理不清晰,存在局部过曝光问题;T9中,DE增强后的房子屋顶,有颜色偏移现象,LIME增强后图像偏暗,图像不够清楚;对于T10和T11中天空云层和墙上的倒影,DE在墙上的增强过亮,图像不自然,LIME增强后的云层细节并未显示,局部细节过于平滑。在这四组图中,LIEAS增强后的图像色彩鲜明,亮度适中,有效恢复了图像细节信息。同时,不可否认,LIEAS增强后的某些局部亮度效果不如LIME,如T10中的草坪,这是因为LIEAS校正项抑制了LIME局部光亮处存在的过度增强和细节丢失问题,引起LIEAS增强图像较暗处的亮度有所下降。另外,该实验中模型所采取的参数是固定的,适应大部分场景图像,若根据不同应用场景进行参数调整可以达到更理想的效果。

表1和表2分别是图9中测试图像的SF、AG值,其值越大,表明增强效果越好。

表1 测试图像SF指标值Table 1 SF index values of test images

表2 测试图像AG指标值Table 2 AG index values of test images

3.2.2 高动态范围图像增强效果分析

高动态范围图像(High Dynamic Range Imaging,HDR)是在计算机图形学与电影摄影术中用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术,其目的是正确地表示真实世界中从太阳光直射到最暗阴影这样大的范围亮度。类似的,WEI K等[25]介绍了如何构造更真实的噪声数据,能够合成更好的匹配图像以及形成具有物理特性的真实样本,他提出了一种方法来校准现有现代数码相机的噪声参数。受此启发,为验证本文模型的性能,对高动态范围图像进行测试,并对比了一种HDR图像增强模型方法(Tone-map First Denoise Last,TFDL)[26],增强结果如图 10所示。

由图10可知,在视觉上LIEAS增强效果较好,图像对比度明显提升,颜色鲜艳。同时,对两种模型增强后的图像进行指标对比,如表3所示。尽管TFDL对图像还有降噪的性能,但从主观视觉和客观指标可知,本文模型对图像的增强优势更明显。

表3 LIEAS与TFDL模型在测试图像上得到的SF、AG、EI和NIQE的指标平均值Table 3 Average index values of SF, AG, EI and NIQE obtained by LIEAS and TFDL models on test images

图10 TFDL与LIEAS模型的增强图像比较Fig.10 Comparison of enhanced image between TFDL and LIEAS model

3.2.3 图像去雾

LIEAS是以ASM为基础推导得出的,与去雾模型表达式类似,经验证LIEAS也可用于图像去雾,二者只差别在大气光值求解上。大气光值用亮像素中的暗通道来估计,Idark(x)表示暗通道,取其最亮像素的前0.1%,然后对传输图进行优化即可。LIEAS图像去雾结果如图11所示,第一行是雾天图像,第二行是对应的去雾后图像。同时,对模型去雾前后的图像进行指标对比,如表4所示。

表4 LIEAS模型在测试图像上得到的SF、AG和EI的指标值Table 4 The index values of SF, AG and EI obtained by LIEAS model on the test image

图11 LIEAS去雾前后图像对比Fig.11 Comparison of images before and after dehazing by LIEAS

由图11可知,LIEAS对雾天图像中近景去雾有较好的效果,对远景如火车轨道和椅子的去雾效果还有待改进,但整体效果可观。由表4可知,LIEAS去雾后的图像质量都得到了提升,这表明LIEAS模型具有一定的优势。

3.3 增强算法对比

为验证提出算法的有效性,将LIEAS与其他8种算法进行性能比较。比较算法包括基于Retinex模型的方法 LIME[2]、NPE[17]、SRIE[18];基于融合模型的方法 BIMEF[19]和 MF[20];基于深度学习方法 TBEFN[21]、DLN[22]和 Zero[23]。实验测试图像来自 NPE 数据集[17]、Zero 数据集[23]和 DICM 数据集[27]。从主观视觉与客观指标两方面对比分析9种算法的增强性能。采用空间频率SF、平均梯度AG、边缘强度EI、自然图像质量评估NIQE作为增强图像客观评价指标。

图12展示了原始低光照图像和9种算法的增强结果图。由图可知,SRIE、BIMEF和Zero增强后图像对比度和亮度较低,细节信息缺失严重;NPE、MF、TBEFN和DLN增强后图像清晰度不高,有朦胧感,图像色彩不均衡;LIME与LIEAS增强图像效果较好,两者亮度和对比度差距不大,图像自然、亮度适中、色彩平衡、细节突出。

图12 不同模型增强后的效果Fig.12 The result of different model enhancement

为进一步分析算法的增强性能,对9种算法增强后的图像进行局部放大,比较它们的细节差异,增强后的测试图像及局部放大图如图13~15所示。

图13 不同模型得到的城市夜景增强图和细节图Fig.13 The enhanced city night and detail images obtained by different models

图14 不同模型得到的山水增强图和细节图Fig.14 The enhanced landscape and detail images obtained by different models

图15 不同模型得到的房屋增强图和细节图Fig.15 The enhanced house and detail images obtained by different models

图13中,LIME、NPE、SRIE、MF和Zero增强后的图像整体亮度偏低,图中放大的云朵没有层次感,平滑暗淡;TBEFN和DLN有过度增强的现象,黄色房子墙面曝光过强,天空区域增强效果不理想;LIEAS增强后的图像整体自然美观,色彩均衡,天空云朵层次感很强,闪电颜色饱满,细节纹理恢复得较好。

图14中,相较于LIME和LIEAS,其他7种算法增强后的图像对比度较低,且细节信息体现不够好,红框中的蓝色物体增强效果不明显;LIME和LIEAS整体亮度明显提高,细节突出,远处天空云层没有过度增强的现象;LIEAS增强图像背景明亮,水纹和木棍等细节信息保留完整,从色彩自然方面来看,LIEAS增强后的图像在视觉上更优于LIME。

图15中,NPE、SRIE、BIMEF、MF和DLN增强后的图像比较模糊,轮廓细节不清晰;TBEFN和Zero增强后的图像亮度提升不够,地面砖缝细节信息丢失;LIME增强后的图像亮度有明显的提升,但在细节信息保留上的表现不佳;LIEAS增强后图像中绿色楼梯背面的纹理细节较为突出,颜色也更加逼真。综上分析可知,LIEAS在图像亮度、视觉清晰度和细节保留方面都比较有优势,对图12~15中的图像进行指标对比,结果如图16所示。由主观视觉和客观指标结果可知,LIEAS模型的优势比较明显。

图16 不同模型对应测试图像增强后的指标值Fig.16 Index values of different models corresponding to enhanced test images

同时,考虑到不同模型的增强效果并未与测试集标准进行比较,即与“正常光照下的同一场景图像”(Ground Truth,GT)比较,本文随机选取了有原始参考图像的LOL数据集[28]中的图像,对比不同模型的增强效果,验证本文算法的优势。如图17所示,提供的GT图像仅为参考图像,SRIE、BIMEF、MF和Zero增强后图像的亮度欠佳;DLN增强后的图像不自然,观感较差;NPE和TBEFN增强后的图像与GT图像最接近;LIME和LIEAS增强后的图像对比度有明显提升,色彩均衡,更立体。

图17 有原始参考图像的不同模型增强后的效果Fig.17 The enhanced result of different models with original reference images

为进一步验证本文算法的性能优势,将本文算法和8种对比算法在数据集上进行测试,不同算法对每个数据集的平均指标值如表5~8所示。由表可知,LIEAS在统计平均上的多数指标优于其他算法。深度学习算法广泛应用于低光照图像增强中,在计算时间上有很大优势,但需要大量数据集,比较的三种深度学习算法TBEFN、DLN和Zero,其视觉效果和指标分析都不如LIEAS,增强后的图像清晰度不够,亮度和对比度较低,甚至出现色彩失真和细节信息丢失。无论是对数据集图像的指标分析,还是对单个图像的指标分析,LIEAS算法都非常有优势,模型简单且复杂度低。

表5 不同数据集SF指标值Table 5 SF index values of each dataset

表6 不同数据集AG指标值Table 6 AG index values of each dataset

表7 不同数据集EI指标值Table 7 EI index values of each dataset

4 结论

本文提出的基于扩展大气散射模型(LIEAS)的低光照图像增强方法,统一了去雾模型和低光照增强模型的表达式形式,LIEAS算法对逆大气光值和传输图优化估计,有效地实现了低光照图像的增强,采用基于PCA融合的方法对传输图进行了主要结构提取和精细结构保留,可以较好地再现图像中的轮廓和纹理细节;模型中的校正项(CT),有效克服了以往图像中存在的过度增强和细节丢失等问题。该方法可以获得清晰的增强图像,更好地保持图像细节、色彩平衡和适度的亮度,可以推广到各种光照条件下,还可以实现图像去雾。本文算法代码在https://github.com/bulingbing-c/test已公布,后续可进行更多的实验验证和对比。

猜你喜欢

图像增强亮度光照
节能环保 光照万家(公益宣传)
图像增强技术在超跨声叶栅纹影试验中的应用
节能环保光照万家(公益宣传)
水下视觉SLAM图像增强研究
虚拟内窥镜图像增强膝关节镜手术导航系统
春光照瑶乡
亮度调色多面手
基于图像增强的无人机侦察图像去雾方法
亮度一样吗?
基于斩波调制的LED亮度控制