基于加权结构感知和雾天退化模型的低照度图像增强方法

2022-07-17魏玄颖何立风

陕西科技大学学报 2022年4期

姚斌，魏玄颖，韩振，何立风，2

(1.陕西科技大学电子信息与人工智能学院，陕西西安 710021； 2.日本爱知县立大学信息科学学院，日本爱知县长久手市 4801198)

0 引言

视觉是人类获取信息的主要方式，而图像是视觉信息的主要载体，因此，计算机视觉的主要任务之一就是从图像中获取有用的信息.在图像采集过程中，由于环境光照不足或受图像采集设备本身的制约，所得到的图像易存在对比度低、颜色欠饱和等问题，使得很多重要信息湮没在亮度较低的区域，这将给图像处理系统后端的分类、跟踪、识别等应用带来极为不利的影响.

目前，低照度图像增强方法主要分为传统方法和深度学习方法.传统方法中，灰度变换[1]和直方图均衡化方法[2]实现简单，有着较高的运行效率；Retinex(Retina & Cortex)方法[3]以其简明的物理模型倍受研究者青睐，基于该模型的MSRCR(Multi-Scale Retinex with Color Restoration)方法及近年来的LIME[4](Low-light Image Enhancement via Illumination Map Estimation)，SRIE[5](Simultaneous Reflectance and Illumination Estimation)，SRLLIE[6](Structure-Revealing Low-Light Image Enhancement)方法在不同场景下各自有着较为优秀的效果；图像融合方法[7]通过采集多张图像，从中分别提取有用的信息以生成高质量的图像.深度学习方法近年来发展迅猛，RetinexNet[8]等低照度增强网络在部分场景下取得了优异的增强效果.针对该类方法依赖配对数据集的问题，EnlightenGan[9]、Zero-DCE[10](Zero-reference Deep Curve Estimation)等方法通过对抗网络和像素的高阶映射方程，实现了基于深度学习网络的无监督低照度增强方法，避免了对配对数据集的依赖.

上述方法中，灰度变换和直方图均衡化算法实现简单，对低照度图像增强效果显著.但是，此类方法容易丢失色彩细节且产生杂色噪声，从而导致增强后的图像失真；Retinex方法假设光照是缓慢变化的，这一严苛的先验条件导致该方法增强的图像在光线骤变的区域易产生光晕现象；图像融合方法和深度学习方法分别对图像采集设备和图像运算设备有着较高的性能要求，从而导致该类方法适用性受限.

Dong等[11]提出了一种基于去雾方法的低照度增强方法.他们在实验中发现，反转的低照度图像在视觉效果上和直方图上都与有雾图像相似,因此可以使用去雾方法处理低照度图像.

基于这一发现，Wei等[12]进一步改善了算法性能，然而其透射率由Lab色彩空间的L分量计算而来，导致增强效果不足；Jiang等[13]使用滤波算子平滑透射率，在克服增强结果块效应的同时也造成了纹理细节丢失.

该类方法的核心在于针对反转低照度拟雾图像的去雾操作.和真实的雾天图像不同，拟雾图像有其固有的特点，例如低照度图像反转后会严重过曝、拟雾效果不均匀等.针对上述问题，本文使用递归四叉树确定大气光，结合中值滤波和边界约束估算粗略透射率，并导入一个具有结构感知性的权重算子辅助计算精细透射率，综合上述方法，提出了一种基于雾天退化模型的低照度图像增强方法.

1 去雾方法和低照度图像增强的关系

当前，图像的去雾方法众多.其中，基于雾天退化模型[14]的方法因其良好的物理解释性和出众的去雾效果而广泛受到研究者青睐.本文提出的方法也基于雾天退化模型.

在RGB色彩空间中，低照度图像和其反转图像的数学表达式为：

Ic(x)=255-Dc(x)

(1)

式(1)中：Dc(x)和Ic(x)分别是原始低照度图像和反转后的低照度图像中颜色通道c的强度.

因此，根据Dong等[11]提出的方法，将低照度图像反转，获得拟雾图像；然后使用去雾算法对其进行去雾处理，获得去雾图像；最后再反转去雾图像，即可得增强的低照度图像.

1.1 雾天退化模型

McCartney等[15]提出的雾天退化模型是计算机视觉领域中最为常见的描述雾霾图像的数学模型，该模型的表达式为：

I(x)=J(x)t(x)+A(1-t(x))

(2)

式(2)中：x为像素坐标，I(x)和J(x)分别表示带雾图像和无雾图像；A表示图像环境中大气光照度的数值；t(x)是像素x处值域为[0,1]的透射率函数.根据式(1)，待恢复的图像表达式为：

(3)

式(3)中：t0是为了避免透射率过小而设的保护系数，数值一般为0.1.

由式(3)易知，基于雾天退化模型的图像去雾操作，即是使用各类先验知识确定透射率t(x)和大气光值A，进而求解J(x)的过程.

1.2 暗通道先验理论

He等[16]所提出的暗通道先验理论是基于雾天退化模型的经典去雾方法之一.这一先验理论用公式描述为：

(4)

式(4)中：Jc表示无雾图像中颜色通道c的强度；Ω(x)表示以像素x为中心、棋盘距离为r的正方形局部邻域；Jdark表示该正方形局部邻域的暗通道.

根据式(3)可知，求解无雾图像，未知因子有透射率t(x)和大气光值A.

在暗通道方法中，大气光值A采用全局检测的方法.但该方法易受图像中的白色物体或高亮点光源的影响，使得大气光选择偏大，从而导致结果过增强.

(5)

在真实的有雾图像中，雾气呈均匀分布，因此这一假设成立.而在反转的拟雾图像中，“雾气”分布只与原图明暗有关.因此，暗通道方法中透射率计算的先验条件过于严苛，不适用于反转的拟雾图像.

进一步地，式(5)求得的透射率为块状粗略透射率，直接用于去雾算法会导致严重的块效应.常用的双边滤波、高斯滤波等处理手段能起到平滑透射率、降低增强结果块效应的作用，但是这类滤波算法没有考虑图像的结构信息，缺乏结构感知性，从而导致增强结果存在光晕、伪影等图像劣化现象.针对这一问题，He使用软抠图并取得了较好的效果，随后，他使用导向滤波替代软抠图，进一步提升了算法效率.Meng等[17]通过使用基于上下文正则化的L1范数解决这一问题.

2 本文提出的方法

2.1 基于暗通道四叉树的大气光值计算

大气光通常被认为是图像中最接近白色的颜色，即RGB三通道中强度值最高、最接近(255,255,255)的颜色.同时，有雾图像中雾气的颜色也呈接近(255,255,255)的趋势，且雾气越浓，颜色的三通道强度值越高.因此，现有算法中通常将有雾图像中RGB三通道强度值最高的区域颜色视为大气光值.Kim等[18]认为，有雾区域像素方差值一般较小，即有雾区域内图像像素间的差异较小，这样可以排除那些存在高亮像素点但细节较多的区域.根据此特征，Kim提出了一种称为四叉树子空间划分的层次搜索方法：对原图进行四叉树划分，选择平均亮度最高的子块，迭代上述过程，直至块尺寸小于预设阈值，选取块中亮度最高的点作为A值.

本文受其启发，兼顾考虑高亮像素区域对大气光计算的负面影响，提出了一种基于暗通道的四叉树子空间划分大气光值计算方法，即：使用一个固定尺寸的滑动窗口遍历原图获得暗通道图像，然后对暗通道图像进行四叉树计算，获取平均亮度最高的子块，最后遍历该子块在原图中的位置，得到最亮的像素点，将该点的RGB值用作大气光值.

2.2 基于边界约束和中值滤波的粗略透射率计算

由式(1)和式(2)可知，在图像的无穷远处，即d(x)→∞时，易得I(x)=A.在图像中其他有雾气覆盖的区域，受雾气影响，其RGB通道的强度值也不同程度接近大气光值A，即I(x)→A.因此，初始化透射率t的过程，即是根据式(2)外推J(x)的过程.

在任意RGB色彩空间的图像中，无雾图像J(x)的RGB强度值必然被限制在一个固定区间内，即：

C0≤J(x)≤C1

(6)

该条件可看作是对图像中任意J(x)所施加的基于RGB三通道的边界约束，其示意图如图1所示.其中坐标轴分别为RGB通道.C1和C0是两个常数向量，分别代表约束的上值和下值，该数值需要根据实际图像人为确定.由其围成的6个面构成了约束的上界和下界，约束了J(x)的取值范围.

图1 边界约束示意图

综合式(3)和式(6)，得边界约束反作用于透射率t(x)的两则不等式：

(7)

(8)

式(7)、(8)中：α是一个用于避免分母为0的极小常数项，Ac是大气光中对应RGB通道的强度值.

暗通道先验方法假设局部透射率是不变的.而反转的拟雾图像中，“雾”的分布完全不服从物理规律，故这一前提条件在反转的拟雾图像中很难成立.因此，本文结合式(7)和式(8)，采用了一种基于中值滤波的粗略透射率计算方法，其表达式如下：

(9)

式(9)中：Ωr(y)和Ωr(z)分别代表以y和z为中心，棋盘距离为r的正方形窗口子块.max为最大值操作，用于处理图像中高亮点所导致的t(x)为负的异常情况.med为中值滤波操作，该滤波的使用避免了透射率的急剧变化，这一非线性滤波在抑制图像噪声的同时，还在一定程度起到了保留边缘信息的效果.图2为该方法计算所得的粗略透射率图.

2.3 基于加权结构感知的精细透射率计算

图2 基于边界约束和中值滤波的粗略透射率图

精准的透射率图应具有良好的结构感知性，体现在两方面：平滑的灰度过渡和清晰的纹理边缘刻画.本文导入了一个权重函数和保边算子，并设计了一个精细化透射率的目标函数.通过最小化求解该目标函数，可得到具有结构感知性的精细化透射率t.该目标函数如下：

(10)

该目标函数的核心，在于导入了一个关于相邻像素RGB向量强度平方差的权重函数：

(11)

该权重函数的设计思路是：当相邻的x、y两像素差异较大时，可认为此处存在结构信息，则权重函数W(x,y)应趋于0，以取消x、y两点间的透射率平滑性约束，此时，x、y两点透射率维持粗略计算结果，以保留结构和纹理信息.反之，权重函数W(x,y)会根据相邻像素的相似程度，趋于1，以施加x、y两点间的透射率平滑性约束，此时，x、y两点间的透射率在粗略透射率的基础上趋于一致，从而起到平滑透射率的效果.

将该权重函数运用于待求解透射率的图像中，可得关于透射率的平滑性约束表达式：

(12)

在计算机图形学中，通常用L1范数积分代替式(12)中的L2范数积分，故该式被改写后的离散形式如下：

(13)

式(13)中：ω是像素邻域索引集，°表示逐元素乘法，⊗表示卷积操作，Dj为微分算子，Wj为权重矩阵.

为了最大程度保留图像边缘信息、增强本方法在光照变化环境下的鲁棒性，本文选用如图3所示的LoG(Laplacian of Gaussian)算子作为本算法的微分算子.该算子通过将Gauss平滑滤波器和Laplacian锐化滤波器相结合，实现了一定的平滑噪声和边缘检测效果.

相应地，为了适配LoG算子，式(11)的权重函数被进一步改写为对应的离散形式：

(14)

综上，便构建得式(10)这一关于精细化透射率的目标函数.该目标函数可通过变量分裂法[19]求解，即引入辅助变量uj，将该目标函数进一步改写成下式：

(15)

式(15)中：β是一个无穷大的权重系数.对于固定的β，式(15)的最小化过程可视为关于uj和t的交替优化过程，即首先通过固定t来求解对应的最优uj，然后固定这一uj以求解最优的t.通过反复迭代上述过程，可以得到收敛的最优解.

2.4 伽马校正后处理

在得到精细化的透射率图之后，即可通过式(3)对反转的拟雾图像进行去雾计算，得到去雾后的图像，再对该图像进行一次反转操作，即可得到增强的低照度图像.然而，反转的低照度图像易呈现过曝的视觉效果，进而导致去雾处理后的图像丢失动态范围和细节信息.因此，本文引入伽马校正对初步增强后的低照度图像进行后处理，以期获得更好的视觉效果，方法如下：

(16)

式(16)中：L是伽马校正后的最终结果图像，L′是初步增强后的低照度图像.由于增强后的图像每一个颜色通道为8位，W为255.γ为经验系数，偏小的γ取值增强效果较弱，常用的γ=2.2易造成图像过增强.经过大量实验，本文取γ=1.5.图4给出了未经伽马校正后处理的增强结果以及采用不同γ取值进行伽马校正后处理的增强结果.可见，恰当的γ取值能进一步提升增强效果.此外，相比于未进行后处理的图像，经过恰当γ取值作伽马校正的图像在灯及墙面处保留了更多的暗部细节信息，同时，亮处的树木也有着更鲜艳的色彩，整张图像有着更高的动态范围，视觉效果更佳.

图4 伽马校正后处理结果对比图

3 实验结果与分析

本实验所使用的操作系统为Windows10 64位，软件环境为Python3.8.5和OpenCV4.5.2.硬件所使用的处理器AMD Ryzen R5 3600，运行内存16 GB.实验选取了三组低照度图像：“山谷”、“玩偶”和“建筑物”，分别代表了夜间户外低照度场景，室内低照度场景以及日间曝光不足场景的图像.实验使用约束下界C0=(20,20,20)，约束上界C1=(280,280,280).计算大气光值使用滑动窗口直径为15，边界约束使用窗口直径为3，粗略透射率的保护系数α=1，目标函数中权重函数的常量系数σ=0.2，透射率平衡约束系数λ=1.本实验分别与前文提及的具有代表性的图像融合BIMEF[7](Bio-inspired Multi Exposure Fusion)方法，以及基于Retinex理论的MSRCR、LIME[4]、SRIE[5]、SRLLIE[6]方法进行比较，对比方法的所有参数均使用原文献默认参数.图5为最终得到的增强结果.

图5 不同方法在“山谷”、“玩偶”和“建筑物”图像的增强结果

3.1 主观分析

由图5可知，所有的增强方法都在一定程度上改善了原图的视觉效果.然而，BIMEF方法和SRIE方法的增强效果较弱，在极低亮度的区域丢失了大量暗部细节；MSRCR方法可以极大提高画面亮度，但是导致了严重的色调偏移.通过LIME和SRLLIE方法增强后的图像有着适当的亮度和更好的色彩一致性，然而，SRLLIE方法损失了图像的动态范围，视觉效果欠佳.同时，LIME和SRLLIE方法均存在白平衡失调问题，所增强的“玩偶”图像严重偏色.采用本文所提方法增强的图像保留了清晰的边缘信息和纹理细节，在大幅提升图像亮度的同时还改善了图像的清晰度，主观感受更佳.

3.2 客观评价

图像的客观分析即根据既定的评判标准，从数值角度对图像质量进行定量评价.目前，客观图像质量评价方法主要有全参考、半参考和无参考方法，它们之间的主要区别在于对原始参照图像的依赖程度[20].现实情况中，绝大多数的低照度图像都难以获得对应的参照图像，进而导致全参考方法可参考性欠佳.因此，本文使用信息熵(Information Entropy，IE)、平均梯度(Average Gradient，AG)和自然图像质量评价[21](Natural Image Quality Evaluator，NIQE)这三个无参考方法作为客观分析指标.

其中，信息熵反映图像包含的信息量，数值越大说明图像蕴含的细节越丰富；平均梯度反映了图像的清晰度和纹理变化，数值越大说明图像越清晰；自然图像质量评价反映图像在多元分布上的差异，数值越小说明图像质量越好.不同图像的客观评价结果如表1所示，其中最佳得分被加粗表示.从表1可以看出，本文提出的增强方法在过半的指标中获得了最佳成绩，在其余指标中也有较好的表现.客观评价指标进一步验证了本文提出方法的有效性.