基于正则化高斯场模型的低光图像增强

2023-11-17赵维骏焦国力闵超波

激光与红外 2023年10期

杨锋,赵维骏,顾燕,朱波,吕扬,焦国力,闵超波

(1.北方夜视科技(南京)研究院有限公司,江苏南京 211102;2.河海大学,江苏常州 213022)

1 引言

目前,计算机视觉技术被广泛应用于多种领域,如夜视[1-2]、遥感[3]、工业检测[4]和医学成像[5]。而计算机视觉所依赖的基础是各类光电成像传感器所提供的图像。毫无疑问,输入图像的质量对机器视觉的性能起到决定性的作用。然而,由于成像传感器的限制、相机参数设置不当、或光照分布不均匀等原因,传感器的原始图像通常会存在亮度低、动态范围窄、对比度低和细节损失[6]等缺陷,从而对计算机视觉造成不利影响。因此低光增强是非常必要的,这也是本文的研究重点。

Retinex[7]分解将采集图像视为反射层和照度层的结果,通过各种基于Retinex的模型从采集图像中重新恢复反射层,因此在图像增强中广泛使用。单尺度Retinex(Single Scale Retinex,SSR)[8]和多尺度Retinex(Multi Scale Retinex,MSR)[9]是基于Retinex图像增强的早期尝试,它们在对比度增强方面表现良好,但很容易导致输入图像暗区域的细节丢失。一些基于Retinex的低光图像增强方法,例如反射层和照度层联合估计(Simultaneous Reflectance and Illumination Estimation,SRIE)[10]、利用亮度映射估计的低光图像增强(Low-Light Image Enhancement,LIME)[11]、基于结构恢复的低光图像增强和低阶正则化Retinex模型(Low-Rank Regularized Retinex Model,LR3M)[12],可以弥补SSR和MSR的不足。这些方法将低光增强转化为一个多块凸优化问题,并使用交替方向最小化技术联合估计输入图像的反射层和照度层。这些基于联合估计的方法大大提高了低光增强的性能,然而,也使得图像增强算法的结构越来越复杂,导致运算复杂度高,工程化实现困难。许多研究人员已经意识到了这个问题,因此不少增强方法都提出了自己的加速策略。然而,多块凸优化技术的复杂性使得低光增强算法的实际应用面临巨大困难。

本文提出了一种基于正则化高斯场(Regularized Gaussian Fields,RGF)的优化函数,利用梯度下降算法同时估计反射层和照度层,从而提高低光增强的性能。该方法在正则化高斯场中的实现了Retinex分解,将反射层和照度层的联立估计转化为一个无约束优化问题。首先,构建了基于RGF的Retinex分解模型,该模型可微,因此采用高效简单的梯度下降技术(例如拟牛顿法)进行反射层和照度层的联合估计。最后,构建基于高斯核校正模型,对估计出的反射层进行进一步优化,以保持增强图像的细节和自然度。实验结果表明,与其他同类方法相比,该方法在增强效果和效率方面都具有一定优势。

2 基于正则化高斯场模型的低光增强

2.1 问题表述

Retinex模型解释了可见图像的形成,如下所示:

S=R∘L

(1)

其中,S表示采集图像;R表示反射层;L表示照度层。操作∘表示按元素相乘。一般来说,R中包含了场景中的细节,L为场景的光照分布。在本文中,S、R和L是m×n的二维矩阵。

为了从采集图像S中估计R和L,大多数方法将等式(1)转换为对数域:s=r+l,其中s=ln(S),r=ln(R),l=ln(L)。因此,估算r和l的目标函数可以写成:

(2)

其中,‖·‖F表示F范数。

最小化目标函数(2)是一个不适定问题。这很难简单而准确地解决。为了同时估计反射层和照度层将其转化为无约束优化问题,构建了基于RGF的Retinex分解优化函数,如下所示:

λΦ(fl,fr)

(3)

高斯场模型是连续可微的,并且在计算方便性方面具有优势。为了确保基于RGF的优化函数(3)是可微的,定义反射层和照度层的映射函数如下:

(4)

(5)

其中,D是多项式的阶数;βd和αdk是多项式系数。本文将反射层视为采集图像的映射。因此,使用映射函数(4)来描述从采集图像s到反射层r的变换模式。同时,场景中照明分布的规则模式被表示为映射函数(5)。高阶多项式能较好地拟合真实光照的平滑性和非线性。很明显,等式(4)和(5)是可微的,因为它们是在多项式上构建的。此外,高阶多项式能够处理反射层和照度层规则模式的复杂非线性问题。

(6)

(7)

其中,so表示通过从s中删除奇数列而创建的1/2大小的输入图像;xo是相应的坐标矩阵。

(8)

其中,so表示通过从s删除偶数列而创建的1/2大小的输入图像;xo是相应的坐标矩阵。显然,se与so相似。

从等式(7)中可以发现,由于照明层(5)的映射函数的平滑性,fl倾向于在输入图像so中描述的照明分布的规则模式。由于fr(so)和so之间的相关性,fr(so)比fl(xo)对最小化等式(8)的贡献更大。因此,映射函数fl主要由等式(7)确定。在这种情况下,公式(8)通过使用Retinex模型使fr(s)接近最佳反射层。因此,基于RGF的优化函数可以同时估计反射层和照度层。

2.2 优化

(9)

公式(9)的相应导数如下所示:

(10)

通过使用导数公式(10),可以使用基于梯度的数值优化方法,如拟牛顿法,来求解最佳参数PD,然后实现同时估计反射层和照度层。

由于映射函数fl和fr是正则的,因此不必使用输入图像s的所有像素来解决基于RGF的优化问题。因此,可以通过sr=imresize(s,r)压缩s的尺寸,其中imresize(s,r)返回sr,即s大小的r2倍,r介于0和1之间。然后,将sr代入基于RGF的优化函数(9)和导数(10),可以估计最优fr(s)。此步骤的优点是减少优化的时间复杂性,避免过度拟合问题。

2.3 校正

图1 RGF的函数曲线

图2 基于RGF的优化函数直接估计反射层的示例

从图2(b)中可知,在输入图像的明亮区域中存在重要的细节。因此,为了从fr(s)中恢复正确的反射层,采用以下操作:

rf=ηω(s)∘fr(s)+ω(1-s)∘s

(11)

其中,s和fr(s)被归一化。通过使用高斯核ω(sij)=exp{-τ(sij)2},其中τ决定高斯核的范围,fr(s)与输入的图像进行融合。比例参数η∈(0,1)用于限制fr(s)的强度范围,以避免过度曝光。校正结果如图2(c)所示,可以看出,基于高斯核的校正可以提高增强图像的细节保持和自然度。

2.4 计算复杂度分析

算法1:基于正则化高斯场模型的低光增强方法输入:灰度图像S,参数σ,λ,D,r,τ,η1.s=ln(S),sr=imresize(s,r);2.通过式(6)从sr中生成s^r;3.将sr和s^r代入式(9)和(10),然后用拟牛顿法估计最佳反射层模型frs();4.通过公式(11)从标准化frs()中恢复R。输出:最终增强的结果rf

2.5 实现细节

该方法有五个参数需要设置:σ,λ,D,r,τ和η。参数σ决定了基于RGF的优化函数中高斯场的范围。参数λ用于调整优化中数据估计与平滑度之间的权衡。参数D控制反射和照度映射函数的顺序。参数r是用于PD估算中sr的缩小比例。参数τ和η用于校正fr(s),以实现反射层的恢复。

在增强性能和计算效率方面,通过多次实验确定的最佳设置为:σ=5,λ=0.02,D=4,r=0.2,τ=0.62和η=0.67。优化之前,PD初始化为0。输入图像的灰度范围必须压缩至[0∶1]。

3 实验与讨论

在本节中,定性和定量地比较了本文方法与几种最先进的方法,包括对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[13]、SRIE、LIME、低照度水下图像增强(Low-Light Underwater Image Enhancer,L2UWE)[14]、LR3M和半解耦分解低光图像增强(Semi-Decoupled Decomposition,SDD)[15]。然后,测试了不同参数的影响,并对反射层模型进行了消融研究。以上方法的Matlab代码由作者提供。本文中所有实验都是在一台windows10操作系统(64位)的计算机上进行的,该计算机采用Intel Core i7-10750H CPU @2.60GHz,内存16GB。本实验中所有增强结果都是在没有任何预处理和去噪算法的情况下实现的。

3.1 数据集

本文测试图像是从公开数据集MIT-Adobe FiveK Dataset[16]中选取的173幅图像。在此数据集中,对每种场景的图像利用Adobe Lightroom进行手动调节亮度,生成5个不同版本的图像。选择最暗的版本作为输入的低光图像,最亮的版本作为定量比较的参考。图3显示了数据集中的一些样本,可以看出数据集中的大多数图像对比度低、亮度不足、动态范围窄、光照不均匀,这些都增加了图像增强的难度。

图3 输入图像和其参考图像的示例

3.2 RGF优化函数的消融实验

图4 用s代替的RGF优化函数的估计结果

图5 RGF优化函数收敛结果示例

3.3 定性比较

在公开数据集上,本文定性测试了CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和本文方法在彩色图像上的性能。针对RGB彩色图像,首先将输入图像转换为HSV色彩空间,然后在图像的V通道上执行CLAHE和本文方法,最后将处理后结果从HSV转换回RGB色彩空间。LR3M、LIME、L2UWE和SDD可以直接增强彩色图像,从而将输入图像作为初始值。图6提供了通过不同方法获得的增强结果之间的若干比较。可以看出,所有输入图像的亮度分布是不均匀的,这有助于测试增强算法在非均匀照明下的性能。

图6 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和

从比较中可以看出,在一定程度上,所有方法都可以从暗区域中恢复信息。就照明暗区的质量而言,SRIE和LIME在大多数给定示例中优于CLAHE、L2UWE、LR3M和SDD,但比本文方法差。特别是在放大的斑块中,本文方法可以适当地保留细节,并大大提高暗区域的对比度。相比之下,LR3M和SDD在去噪方面表现良好,但在低光增强方面表现不佳。同时,L2UWE和SRIE的结果总是存在过增强。与几种最先进的方法相比,本文方法更好地保留和增强了明亮区域的纹理细节信息。从图6(a)和(d)中的水面以及图6(b)中的建筑物可以看出,低光图像中的亮区和暗区都得到了适当的增强,因此本文方法的增强结果具有优秀的可视性和自然性。图7显示了本文方法的更多结果,进一步佐证了这一点。

图7 所提出方法的增强结果示例

3.4 定量比较和计算时间

由于单个度量不能全面反映增强的性能,因此本文在定量评估中使用了三个基于参考图像的度量和一个无参考图像质量分数。亮度顺序误差(Lightness Order Error,LOE)[17]表示增强图像的自然度。结构相似性(Structural Similarity,SSIM)通常用于衡量增强图像与参考图像之间的相似性。基于局部的对比度质量指数(Patch-Based Contrast Quality Index,PCQI)[18]可用于测量增强图像的整体和局部对比度质量。自然图像质量评估器(Natural Image Quality Evaluator,NIQE)[19]是一种盲图像质量评估模型。

本文使用的数据集定量结果报告在表1中,↓ 指示值越高表示质量越低。↑ 指示值越低表示质量越低。粗体显示的值表示每个指标中最好的三个分数。很明显,本文方法在数据集上通常具有最好的质量。L2UWE的PCQI和NIQE得分高于本文方法,表明存在强烈的对比。这是因为L2UWE通常会过度增强输入的低光图像,如图6中L2UWE的结果所示。在所有客观测量中,本文方法的结果都排在前三位。

表1 定量比较CLAHE、SRIE、LIME、L2UWE、LR3M、SDD和本文方法

从定性和定量比较中可以发现:LIME的性能与本文方法相当。然而,本文方法比LIME快得多。对于900×600的输入图像,LIME的平均运行时间为35.36 s,在同样的计算资源条件下,本文方法的平均运行时间为15.13 s。一般来说,本文方法比LIME快约2.5倍。此外,SRIE、LR3M和SDD的平均运行时间分别为17.3 s、366.2 s和33.8 s,均高于本文方法。这表明,与基于交替方向最小化技术的反射层估计相比,基于RGF的优化可以更快地收敛到最优值。

3.5 参数配置测试

该方法有五个参数需要设置:σ,λ,D,r,τ和η。从式(9)中,可以看出参数σ和D是最重要的,因为它们可以直接决定基于RGF的优化函数的性能。参数σ和D对基于RGF的优化函数的影响如表2所示,↓指示值越高表示质量越低,↑指示值越低表示质量越低。为了分别测试不同参数的影响,我们改变一个参数的值,同时保持另一个参数不变。根据表2中的定量测量结果可以看到:σ=5和D=4时,本文方法在低光增强方面的性能最好。

表2 参数σ和D的影响

表3显示了本文方法在不同r下的定量结果和运行时间,↓ 指示值越高表示质量越低,↑ 指示值越低表示质量越低。由于基于RGF的估计中使用的像素很少,当r<0.2时图像增强方面的性能有限。另一方面,当r>0.2时,用于优化处理的像素更多,可以略微地提高增强的质量,但本文方法的运行时间也大幅提高。因此,r=0.2的方法在低光增强和计算复杂度方面都具有最佳性能。