向 森 王应锋 邓慧萍 吴 谨 喻 莉

①(武汉科技大学信息科学与工程学院 武汉 430080)

②(华中科技大学电子信息与通信学院 武汉 430074)

1 引言

随着计算设备性能的提高及人工智能算法的进步，计算机视觉已经广泛应用于各领域，但一些恶劣环境下的视觉任务仍面临着挑战。近年来许多学者提出了去雾、去雨、去模糊，水下图像和低照度图像增强等相关算法[1–5]，其中低照度图像增强以恢复场景有效信息和提升视觉感知质量为目标，其技术方案可分为传统方法和深度学习方法。

传统方法主要有直方图均衡化(HE)、基于Retinex理论的方法以及基于去雾模型的方法。直方图均衡化基于图像的统计规律将较暗的像素值映射到整个亮度空间，如Pizer等人[6]和Ibrahim等人[7]提出的自适应直方图均衡及其改进版。直方图均衡化简单高效且具有一定的视觉增强效果，但它缺乏物理模型支撑，限制了其准确性。Retinex理论将图像分解为光照图和反射图，对光照图进行增益，再和反射图一起重建出正常光照的图像。基于Retinex理论，Rahman等人[8]提出了多尺度Retinex方法，Guo等人[9]提出了Retinex快速优化算法。Li等人[10]在Retinex的基础上引入噪声分量，同步实现增亮和去噪。然而，Retinex模型侧重提升图像亮度，而忽略了色彩保持，产生颜色失真。近年来，图像去雾的思想被引入到低光图像增强的研究中并催生了相应的方法。Dong等人[11]将低照度图像反相得到伪雾图，进行去雾之后再次反相以生成正常光照图像。陈勇等人[4]分别从伪雾图和低光图中独立地估计透射率和大气光值以提升图像质量。此类方法利用了去雾算法的优势，但经常存在过曝等问题。

近年来，基于深度学习的图像增强方法被陆续提出并展现了良好的性能。Lore等人[12]首次将深度学习应用于图像增强，提出了自编码器低光增强网络。特别是该项工作中构建了首个“伪低光数据集”，通过伽马变换建立了正常光照和低光照的配对图像以进行监督学习。Wei等人[13]提出了基于Retinex理论的增强网络，并构建了第1个实拍的低照度图像增强数据集，通过调整相机成像参数获取同一场景的低光和正常光的图像对。Ren等人[14]将低照度图像增强过程细化为内容流和边缘流，分别使用CNN(Convolutional Neural Network)和RNN(Recursive Neural Network)学习内容特征和边缘特征，该方法的训练数据来源于专家修饰的图像对。上述全监督学习的方法虽然取得了很好的效果，但其数据集的生成都需要人工调整参数以模拟低照度或者正常光照环境，使得样本分布和真实采集的图像存在差距，制约了模型在真实环境下的普适性。

相对于全监督学习，无监督及零样本学习通过图像自身的约束来构建网络和损失函数，而并不依赖低照度-正常光照图像对，因而日渐受到了更多的关注。Jiang等人[15]基于GAN(Generative Adversarial Network)提出了EnlightenGAN，该方法在非配对的低光和正常光图像域之间建立映射以实现无监督训练。Guo等人[16]提出Zero-DCE方法，其使用CNN估计出高阶的光照增强曲线来改善图像质量，然而其依赖多曝光度的图像来进行训练。Zhu等人[17]基于带噪声分量的Retinex模型提出了3分支网络来估计单张低曝光图像的反射分量、光照分量及噪声分量，并通过迭代优化实现零样本学习。这些无监督或零样本方法在泛化能力上相对于全监督的方法有非常大的改善，但在图像的亮度提升、偏色、伪影以及所依赖的训练数据等方面依然有提升的空间。

综上所述，基于深度学习的方法相对于传统方法能取得更高质量的增强效果，但全监督的学习方法面临着难以获得监督样本集以及过拟合的问题，而无监督及零样本方法仍然存在亮度提升不足，颜色偏差及依赖非配对数据集等问题。针对上述问题，本文提出了基于双重迭代的零样本低照度图像增强方法，该方法在不依赖任何先验训练集的条件下比其他低照度图像增强方法在亮度提升和颜色恢复方面取得了更好的性能。本文的主要贡献如下：

(1) 提出了一种基于双重迭代的零样本低照度图像增强方法。外层迭代进行参数估计并传给内层，由内层迭代实现具体的图像增强，其结果反馈控制外层网络模型进行参数更新。该方法为零样本学习，且训练和推理过程融为一体，通过闭环迭代使得网络收敛的同时也生成了增强图像，因此既摆脱了对大量训练集的依赖，也具有良好的鲁棒性与普适性。

(2) 针对低照度图像的特点，提出了多尺度增强系数估计网络模块(Multi-scale enhancement Coefficient Estimation Module, MCEM)和基于注意力的大气光值估计网络模块(Attention-based Atmospheric Light Estimation Module, ATEM)，二者所得参数控制内层迭代，从而更加精细地控制了图像增强的质量。

(3) 设计了用于网络优化的一系列无监督损失函数，基于图像亮度、色彩均衡、大气光值及平滑性等先验和约束，在零样本的条件下完成对网络的训练，并保证了增强图像的质量。

2 低照度图像的双重迭代增强

2.1 优化大气散射模型

大气散射模型最早用于模拟雾霾图像的成像过程，近年来也有学者将其用于水下图像增强[18]和低照度图像增强任务[4,19]。低光照条件下的大气散射模型可表示如式(1)

t(x)=e-θ(λ)(d+dt)

其中，是将光的散射吸收和距离衰减合并考虑得到的综合透射率，J(x)是需要从采集所得的J0(x)中恢复出的正常图像，由式(2)可推导J(x)的恢复公式为

为了估计1/t(x)同时简化模型，本文将1/t(x)表示为J0(x)的线性映射，即1/t(x)=A(x)J0(x)+b，其中A(x)为像素级的系数，b 为常数偏置。考虑归一化图像J0(x)的值域在[0,1]而系数A(x)的值域在[–1,1]，故b取为1以保证t(x)的非负性。为了描述方便，进一步省去像素坐标，可得恢复模型公式

式(4)表明，从低照度图像J0中恢复出正常光照图像J，本质上是将J0乘上系数A进行增益，再和大气光值E进行一系列线性运算，而增强的关键在于准确估计增强系数A和大气光值E。

2.2 零样本双重迭代框架

特别地，本文所提框架属于零样本学习。如图1所示，本文的框架中外层迭代、内层迭代、权重更新共同构成了闭环反馈，其中内层循环通过公式直接计算，外层循环由神经网络实现，损失函数采用无监督形式。该框架下输入任意单幅图像进行迭代时，外层神经网络参数不断更新，当网络收敛时也同步得到了增强图像。与传统的深度学习不同，本文的零样本学习具有以下两方面的特点和优势。一方面，传统深度学习的训练和推理相互独立，训练环节生成模型参数，再用于推理环节，此过程依赖大量的样本数据驱动模型；而本文的零样本方法构成闭环，训练和推理融于一体，对单一样本均可进行迭代以得到模型，完成图像增强的任务。另一方面，传统深度学习所得模型依赖样本的数据分布，在不同环境和场景下难以具有普适性；而本文零样本方法针对单张图片进行学习，网络参数自适应于样本特性进行调整，在不同的场景下都具有良好的鲁棒性。

2.3 内层迭代

3 外层迭代

内层迭代需要增强系数Al和大气光值E两个参数，本文在外层迭代中设计了多尺度增强系数估计网络模(MCEM)和基于注意力的大气光值估计模块(ATEM)，分别对两个参数进行估计。

3.1 多尺度增强系数估计网络模块(MCEM)

如2.1节所述，低照度图像增强的一个核心问题是确定以何种增益Al对原始图像信号进行放大。然而低照度图像中的特征较为复杂，既有大面积的纹理单调区域，又有快速变化的纹理细节；还可能同时存在背光等照度极低区域和天空等高照度区域。因此，对原始图像的增益需要同时考虑全局特性和局部特性，本文采用多尺度增强系数估计网络模块(MCEM)来解决该问题，对增强系数Al进行估计。如图2所示，MCEM模块以低照度图像J0作为输入，估计出3个不同尺度的系数Al=1，Al=2，Al=3。Al=1在全分辨率图像上利用全卷积网络，提取局部细节特征；Al=2和Al=3则在1/2和1/4分辨率上通过卷积和反卷积操作，提取全局特征。此外，3个尺度下均采用了不同尺寸的卷积核进行特性提取和特征合并。多种尺寸的卷积核及不同尺度的下采样使得网络能够学习多尺度的特征信息。同时，前后两个部分经过残差连接相连以加速网络收敛。另外，MCEM模块的下采样部分是通过控制卷积步长而非池化来实现的，在不增加参数的同时减少了特征信息的丢失。MCEM模块的详细参数见表2。

表2 多尺度增强系数估计模块(MCEM)网络参数表

表1 双重迭代流程

3.2 基于注意力的大气光值估计模块(ATEM)

大气光值E是本文物理模型中的另一个重要参数。现有文献中经常将大气光值视为全局常数[4]，然而实际的低照度图像往往存在照度不均匀的现象。如图3(a)既有地面等逆光低照度区域，又有天空等正常光照区域。此类场景下采用全局大气光将导致亮区过曝而暗区增亮不足，产生如图3(c)所示的不均衡效果。因此，本文充分考虑了区域之间的差异，提出了基于注意力的大气光值估计模块(ATEM)。该模块以原始图像和其反相亮通道共同作为输入，引入空间注意力和通道注意力机制以调节大气光值在不同亮度区域的权重，从而预测像素级的大气光值E(x)。反相亮通道图的生成和暗通道先验[20]类似，如式(6)所示，对像素点x，取其4×4邻域Φ(x)中最大的单通道像素值作为其反相亮通道值。

3.3 零样本损失函数

本文的零样本学习方法无需监督数据，而是根据低照度图像增强过程中的内在性质建立约束关系，在亮度对比度、色彩均衡、大气光、图像平滑性方面提出无监督损失函数以优化外层迭代的参数。如图5所示，小尺寸窗口将引起伪影，而大窗口提取的亮通道接近饱和而引起过曝；采用大小随机的窗口时，产生的效果更好。基于该效应，Lat采用随机的可变窗口Φ(x)提取反相亮通道以保证增强效果。

平滑损失函数：图像增强在提升亮度的同时也使得噪声被剧烈放大，严重影响了视觉效果。本文对多尺度增强系数Al及内层迭代图像Jk添加平滑约束，引入基于全变分的平滑损失函数Lsm如式(13)

4 实验与分析

为验证方法的性能，本文进行了大量的实验，从主观视觉质量和客观评价指标两个方面分析了实验结果，并对迭代次数和各损失函数的有效性进行了分析。实验采用Nvidia GTX 2070 GPU， Intel Core i5-9600K CPU, Tensorflow2.0框架，优化器为Adam，学习率为α=0.001。主要参数为w1=3，w2=1,w3=0.4,w4=0.01,β=1,γ=5,η=10–5,µ=150。内层迭代轮数K=6，外层迭代次数N=300。

4.1 与现有方法的性能对比

主观质量对比：本文将所提方法与5种增强方法进行了性能比较，包括LIME[9](Retinex传统方法)、RetinexNet[13](Retinex结合有监督学习，严格配对图像集)、EnlightenGAN[15](无监督学习，非严格配对图像集)、Zero-DCE[16](无监督学习，多曝光混合图像集)、RRDNet[17](无监督，零样本学习)。本文从LOL-v2[23]测试集和夜间实拍图像测试集1)夜间实拍图像测试集网址: https://github.com/Feng-wy/Zero-shot-dual-iter-LLE来评估算法性能，结果如图6和图7所示。由图6可知LIME和RRDNet亮度提升不足；RetinexNet亮度提升较好，但存在严重的伪影与颜色失真；EnlightenGAN同时存在局部区域亮度不足与伪影的问题；Zero-DCE亮度均衡，然而原本较强光照的区域出现了边缘伪影。本文方法的结果在亮度、色彩、对比度方面都最符合正常光照的成像，也最接近参考图像。从图7可看出，在夜间实拍图像上5种对比方法均存在不同程度的偏色、伪影、亮度提升不足等问题。而本文方法的结果对夜间图像的亮度提升明显，且场景中建筑、植被、天空的颜色复原正常，细节表现更清晰。

客观指标评估：本文还对增强之后的图像计算了7种客观指标以评价增强质量，包括4种全参考质量指标：PSNR, SSIM, MAE, VGG16-PFS[24]；以及3种无参考质量指标：NIQE[25], SSEQ[26], CEIQ[27]。LOL-v2数据集提供参考图像，可计算以上全部指标；夜间实拍图像无参考图像，仅计算无参考指标。其结果见表3和表4，其中与图像质量正相关的指标以↑表示，反相关的以↓表示。表3表明，LOL-v2数据集上本文方法在PSNR, SSIM, MAE及VGG-Score 4个全参考指标以及无参考指标NIQE上均取得了最优性能。在无参考指标CEIQ和SSEQ方面比EnlightenGAN稍微差，这是由于CEIQ和SSEQ主要考察图像的对比度、色彩熵等性质，而EnlightenGAN会在明暗变化明显区域产生颜色伪影，从而在这两个指标上取得了较好性能。然而结合表4和图7可看出，EnlightenGAN在夜间实拍低光照图像测试集上的视觉效果并不理想。因此，综合起来看，本文的方法仍然取得了最优性能。

表3 LOL-v2测试集上不同方法的客观评价指标

表4 夜间实拍图像测试集上不同方法的客观评价指标

4.2 有效照度容限范围测试

本文对所提算法在不同照度条件下的有效性进行了测试，并确定了算法有效的照度下限。如图8所示，采集同一场景在不同照度下的图像并进行增强。在极低照度0.2 lx环境下本文算法能够恢复出场景中的物体轮廓信息，3.8 lx下算法能够恢复出颜色信息，而在10.5 lx及以上能够较好地恢复场景暗处细节。

4.3 消融实验

本文还进行了消融实验以验证各损失函数的有效性，结果如图9和表5所示。图9中，仅采用Lbc可提升亮度，但存在严重偏色；引入Lcwb之后提升了色彩均衡性。进一步加入Lsm约束有助于平滑噪声和减少伪影；最终加入Lat使图像亮度更加均衡。表5也表明随着引入各项损失函数，结果图的PSNR和SSIM逐步提升，证明了各项损失函数的有效性。

表5 消融实验结果

4.4 迭代次数影响分析

本文采用双层迭代实现低照度图像增强，进一步分析了内层迭代次数K和外层迭代次数N对增强图像质量SSIM的影响。如图10所示，当N固定时，SSIM随着K的增加而提升，这表明内层迭代中3个尺度的系数Al对提高图像的质量均有贡献。当K大于等于3时，SSIM随K的增加趋于平缓并逐渐收敛，表明继续增加内层迭代轮数带来的性能提升有限。另外，当K固定时，SSIM随着N的增加而快速提升，即增加外层迭代轮数可提升增强效果。当N大于50时，SSIM趋于稳定，其曲线逐渐平缓至收敛。同时，图10也证明了，本文提出的方法具有良好的收敛性质，其结果经过有限次迭代之后趋于稳定。

5 结束语

本文提出了一种双重迭代的零样本低照度图像增强方法，该方法根据大气散射成像模型推导了低照度图像增强模型，并进一步提出了双重迭代的增强算法。外层迭代通过卷积神经网络对增强模型的关键参数进行估计，内层迭代依据所得参数提升图像质量，其增强结果又用于外层网络的迭代更新，最终通过多轮迭代生成高质量的图像。在该框架下，本文还设计了多尺度增强系数估计模块和基于注意力的大气光估计模块以提取图像特征用于增强参数的估计。此外，本文还提出了基于亮度对比度、大气光、色彩均衡以及图像平滑性先验的无监督损失函数。大量实验结果和质量指标表明，本文算法能够从低照度图像增强得到清晰的高质量图像，其性能优于目前最新的同类算法，且该方法不依赖特定数据集，具有良好的鲁棒性和普适性。