牛宏侠,王春智,梁乐观,张瑞瑞,朱梦瑞

(1.兰州交通大学 自动化与电气工程学院,兰州 730070;2.甘肃省高原交通信息工程及控制重点实验室,兰州 730070;3.兰州交通大学 光电技术与智能控制教育部重点实验室,兰州 730070)

沙尘天气对人们的日常生活造成了很大影响.在视频监控、目标跟踪等领域,需要清晰的图像或视频进而获取有用的目标信息,而成像设备由于光线受沙尘颗粒漫反射的影响,蓝色光被大量吸收和反射,所以获取到的图像整体偏黄,且清晰度和对比度都很低[1],直接影响了相关检测设备的正常运行.因此,对沙尘图像的清晰化算法研究意义重大.沙尘图像清晰化的过程分为偏色校正和去雾两部分.目前处理方法主要有三类,分别为基于图像增强的方法、基于图像复原的方法和基于深度学习的处理方法.

基于图像增强的方法未从成像模型进行考虑,而是直接利用增强算法提升主观视觉效果,最常用的是利用直方图均衡化和基于颜色恒常性理论算法进行图像恢复.文献[2]提出了利用PAL模糊增强和带限直方图均衡化空间域增强相结合的方式处理沙尘图像,该算法对提升图像对比度和细节信息有一定效果,但对偏色问题改善效果并不明显;文献[3]提出了使用伽马函数改进限制对比度自适应直方图均衡化方法进行沙尘图像增强,该方法提升对比度效果显著,但在处理降质较严重的沙尘图像时,色彩恢复效果欠佳,且易产生光晕现象;文献[4]提出了利用生成的曝光图像得到权重图,然后将权重图与曝光图像通过图像金字塔的方式进行融合,该算法有效改善了沙尘图像偏色问题和对比度提升效果,但仍存在薄雾的影响,图像的清晰度还可得到进一步提升.

基于图像复原的方法是根据物理光学成像模型反推得到清晰图像.文献[5]首次提出了暗通道先验去雾的方法,但基于该方法处理沙尘图像也能取得较好的效果;文献[6]提出了基于反转蓝色通道先验的沙尘图像复原方法,并引入容差机制优化透射图,从而得到清晰的去沙尘图像,但该算法对退化严重的沙尘图像处理能力仍有待提高;文献[7]提出了基于Laplace算法的能见度复原方法,有效解决了雾气浓度估计不足的问题,该算法在一定程度上解决了图像偏色问题,但对暗部细节的体现不足.

随着深度学习的广泛应用,提出了基于深度学习的去雾霾算法.文献[8]提出了一种Cycle-Dehaze循环生成对抗网络,利用Laplace金字塔放大低分辨率图像以减少图像失真,最终获得了清晰的无雾图像.文献[9]提出了一种门控上下文聚合网络结构,该网络结构利用门控子网融合不同级别的特征,从而实现端到端去雾.由于沙尘图像的偏色严重,导致这些深度学习网络直接作用于沙尘图像处理并不能获得预期的效果,文献[10]针对沙尘图像偏色问题,提出了一种沙尘图像色彩恢复子网,先利用卷积网络进行伪彩色特征映射得到校正图像,再通过基于编码解码器的去尘子网进行图像增强,该方法在合成图像上效果显著,但应用到真实沙尘图像上对比度提升效果仍待改进.针对上述算法中存在的问题,本文结合基于图像增强和图像复原处理的方式提出一种基于改进暗通道先验的沙尘图像清晰化算法.

1 算法设计

本文算法从色偏校正、色彩恢复、去雾和后处理图像增强4个过程进行设计,为解决色彩偏移问题,利用改进的高斯模型进行校正,并加权融合一种基于灰度世界的颜色校正方法进一步提升色彩均衡效果;针对颜色校正后图像整体暗淡、色彩丰富度低的问题,利用带色彩恢复的多尺度视网膜(MSRCR)算法进行色彩恢复;在进一步去雾过程中,采用基于暗通道先验的方法处理,并在其基础上进行改进,进行亮度补偿,突出暗部的细节信息;最后将图像映射到HSI颜色空间,进行自适应饱和度补偿并改进双伽马校正提升图像对比度.本文算法流程如图1所示.

图1 整体算法流程Fig.1 Overall algorithm process

1.1 偏色校正算法

1.1.1 基于改进高斯模型的校正算法

针对沙尘图像具有集中性、顺序性、偏离性的特点[11],高斯模型可有效校正颜色.文献[11]利用位于中间位置的直方图G通道校正其他两个通道,并利用G通道的直方图分布计算颜色延伸系数.由于受G通道的约束过多,可能会出现过拉伸导致色彩不均衡及图像亮度调整太暗或太亮的问题.文献[12]在此基础上进行改进,取RGB三通道中直方图分布范围最广的通道计算延展系数,并将亮度值固定为128以调整像素值分布.该算法能在一定程度上解决直方图过拉伸的问题,并且避免了图像过暗,但对于自身偏亮的图片,也会导致图像亮度降低.即目前基于该算法处理后会出现以下问题: 1) 对有些较暗图像调整为固定像素值,会导致图像暗部细节过亮;2) 校正后图像会出现色彩不均衡的问题.

本文对高斯模型进一步改进,采取归一化自适应调整的方法解决灰度值低于像素均值的亮度调节问题.算法步骤如下:

1) 统计图像3个通道的直方图,并分别计算其均值μC和标准差σC,C∈{R,G,B};

2) 计算延展系数

(1)

3) 利用高斯模型调整各通道像素值,

(2)

(3)

(4)

1.1.2 基于灰度世界的颜色校正算法

针对高斯模型校正通道后可能出现的颜色不均衡问题,本文采用基于灰度世界的颜色校正算法[13].该算法结合两部分理论实现: 灰度世界理论认为,对图像的每个通道灰度值的平均值应保持一致;完美反射理论认为,在任何光源照射下的完美反射体可视为纯白色物体,并且获取的图像各通道灰度值都取最大值.该算法的实现过程如下.

对于一张M×N大小的沙尘图像,基于G通道不变的情况下,对其余两通道进行颜色校正.校正后的像素满足:

(5)

(6)

根据式(6)可以分别求得R和B通道的校正系数,然后代入式(5)中分别求得校正后的两个通道图,与G通道合并后便可得到校正后的图像.

1.1.3 加权融合

为有效保留对比度和色彩效果,本文采用加权融合上述两种算法的方式进行偏色校正.设改进后的基于高斯模型的校正算法输出图像为Igao,结合灰度世界和完美反射的颜色校正算法处理后的输出图像为Icor.加权融合的表达式为

Iout=λIgao+(1-λ)Icor,

(7)

其中Iout为经加权融合后输出的目标图像,λ为权重因子.

本文选用大量测试用例确定λ取值,如图2所示,测试了不同λ取值对偏色校正效果的影响,当λ取值低于0.5或高于0.7时,沙尘图像RGB三通道的直方图虽然集中分布,但相对偏移较大,当λ=0.6时,相对偏移减小,进而能更好地达到色偏校正效果.

图2 不同λ取值对应偏色校正后的直方图Fig.2 Different λ values correspond to histogram after color bias correction

改进算法的处理效果如图3所示.由图3(A)和(B)处理前后对比结果可见,经本文校正算法处理后沙尘图像的颜色偏移问题得到有效解决.从直方图对比结果图3(C)和(D)可见,相比改进高斯模型偏色校正处理后的图像,加权融合算法处理后三通道直方图更集中,且已基本重合,即对图像色彩校正的效果更好.

图3 偏色校正处理后图像及直方图对比Fig.3 Comparison of image and histogram after color bias correction

1.2 色彩恢复

Retinex理论[14]是基于物体的颜色恒常性进行研究,该理论认为物体的颜色由物体本身对不同光线的反射能力决定,其基本假设为原始图像I可表示为光照图像L和反射光图像R的乘积,即

I(x,y)=R(x,y)×L(x,y).

(8)

该理论的目标是获取反射图像R,消除不均匀光照的影响,所以需要在原始图像中去除光照分量的影响.研究者们提出了单尺度Retinex算法(SSR)和多尺度Retinex算法(MSR)用以获取色彩恢复后的反射图像,但处理后色彩丰富度提升幅度较小,局部动态范围压缩能力也较弱,如文献[15]利用单尺度Retinex与引导滤波相联合进行图像增强,虽有效提升了图像对比度,但由于单尺度Retinex算法存在的不足,色彩丰富度仍有较大提升空间.因此,研究者们又提出了带色彩恢复的多尺度视网膜增强算法(MSRCR)[16]以弥补上述算法的不足,在MSR算法的基础上添加色彩恢复因子进行改进,该算法的表达式为

RMSRCRi(x,y)=Ci(x,y)RMSRi(x,y),

(9)

(10)

其中:Ci(x,y)表示各通道的色彩恢复因子,i∈{R,G,B};RMSRi(x,y)表示对i通道经多尺度滤波后的恢复图像;α和β分别表示控制因子和增益常数;I(x,y)表示原图像;Gn(x,y)表示单尺度的高斯滤波;λn表示权值;m为尺度数目.在本文算法中,取α=125,β=40,m=3,λn=12,80,250.

对偏色校正后的图像,经MSRCR算法处理后的色彩恢复图像如图4所示.由图4可见,在本文偏色校正的基础上,经MSRCR算法处理后,图像的清晰度和色彩丰富度有很大提升.但处理后存在的薄雾现象仍需进一步解决,且对于降质严重的沙尘图像,处理后会存在色彩过度增强和对比度相对较低的问题.

图4 MSRCR算法处理前后对比图像Fig.4 Comparison images before and after processing with MSRCR algorithm

1.3 改进暗通道先验去雾算法

1.3.1 暗通道先验算法

暗通道先验算法是He等[5]提出的一种去雾理论,该理论基于大气散射模型[17].在物体成像模型中,描述沙尘、雾霾天气的大气散射模型表达式为

I(x)=D1+A1=J(x)t(x)+A0(1-t(x)),

(11)

其中:I(x)表示输入的沙尘或雾霾图像;D1=J(x)t(x)表示目标衰减反射光,A1=A0(1-t(x))表示大气光,J(x)为恢复后的图像,t(x)为大气光的透射率,A0为大气光强度.

暗通道先验理论认为对于清晰的无雾图像,至少有一个通道的灰度值都很低,且基本接近零.对于一张清晰的无雾图像,可表示其暗通道图像Jdark为

(12)

其中JC(y)表示暗通道图像在C通道下的像素值,Ω(x)表示像素值为x的邻域窗口.

根据上述先验知识对图像进行去雾,主要算法过程为: 首先需要根据大气光值得到透射率,选取暗通道图像中前0.1%最亮的像素点,在原始图像中进行对比,将大于这些像素点的灰度值设为大气光值A,为保留较好的图像景深效果,引入参数ω,构造的求透射率表达式为

(13)

再通过引导滤波得到优化后的透射率,进而可求得清晰的去雾图像J(x),表达式为

(14)

为防止透射率为零的情况,一般设t0=0.1.

1.3.2 对大气光求解的改进

暗通道先验在求大气光值的过程中,选取暗通道图像中前0.1%最亮的像素点,默认像素值大的点为大气光值,会导致处理后图像偏暗,对图像亮度增强的效果较差.本文算法在三通道像素均值中选取最大值作为大气光值,其表达式为

A=max{meanR,meanG,meanB},

(15)

其中mean表示求取各通道像素均值.

1.3.3 暗通道亮度增强

改进大气光值会对图像的整体亮度有所改善,但对于局部偏暗的图像细节并不能起到很好的提升效果.因此对局部亮度的调节进行改进,在求取J(x)的同时,对小于某一阈值的灰度值进行提升.本文引入亮度提升因子φ,局部提升亮度的表达式为

J(x)=φ×J(x).

(16)

为较好地提升局部亮度并保留明暗对比,在大量实验的基础上,本文设定亮度提升因子φ=1.05,设定灰度阈值为60.

图5为改进暗通道先验算法处理结果.由图5可见,在前续算法处理的基础上,经改进暗通道先验算法进一步处理,能有效去除图像中雾气的影响,明显提升图像的清晰度,并保留暗部细节的亮度提升效果.但处理后仍存在图像整体饱和度不足和局部细节对比度偏低的问题,因此仍需进一步提升图像增强效果.

图5 改进暗通道先验算法处理结果Fig.5 Processing results of improved dark channel prior algorithm

1.4 HSI空间对比度增强

针对上述算法处理后存在的问题,由于在HSI空间分离通道可以独立处理,通道之间不会互相影响,相比在RGB空间处理,其更符合人的视觉特性,所以选择在HSI颜色空间进行处理[18].算法过程为: 先将RGB图像转化为HSI空间图像,然后分离为H(色调)、S(饱和度)、I(亮度)三个通道,对S和I通道分别进行处理,然后合并图像,得到增强后的目标图像.算法流程如图6所示.

图6 HSI空间图像增强处理流程Fig.6 Processing process of HSI space image enhancement

1.4.1S通道自适应饱和度增强

针对改进暗通道算法处理后图像整体饱和度偏低的问题,在S通道对饱和度分量进行自适应颜色调整.设初始图像的饱和度分量S(i,j),经调整后的图像饱和度分量为S′(i,j),调整过程为

(17)

其中Smax为饱和度分量的最大值,Smin为饱和度分量的最小值.经调整后可将全局饱和度分量适当增强,在恢复清晰图像的同时给人以更好的视觉体验.

1.4.2I通道改进双伽马校正提升对比度

对改进暗通道算法处理后图像局部对比度偏低的问题,可在I通道设定阈值,低于该阈值的局部暗区域利用改进的双伽马校正增强对比度.由于传统的伽马校正只能设定全局增强的固定指数值,动态范围调整小,对高亮像素值调整后反而会有过增强的问题,有一定的局限性.文献[19]提出了双伽马校正与空间变化亮度图相结合,可以自适应调整图像的亮度,从而提升图像的动态调整范围.文献[20]在此基础上构造了一个新的二维伽马校正函数,但该函数对于暗区域的亮度提升易过增强,会产生图像失真的问题.本文对局部暗区域设定阈值,小于该阈值的像素采用改进的双伽马校正进行自适应调整,从而能在保证图像质量的同时自适应提升图像的对比度.实现该方法的表达式为

(18)

其中I′(x,y)为调整后的像素值,I(x,y)为I通道对应的亮度值,m为I通道亮度均值.本文调整阈值与暗通道先验处理的范围一致,统一设置为60,以增强暗部区域的对比度提升效果.

2 实验结果分析

本文实验选用的图像数据均是真实拍摄的沙尘图像.为证明算法的有效性,将本文算法与目前较好的去沙尘算法进行对比分析,如Zhi算法[11]、Pan算法[12]、Li算法[21]和Shi算法[3].此外,还与一些效果较好的去雾霾算法进行比较,如Berman算法[22]和基于深度学习的Cai算法[23]、GCA-Net算法[9]、Dhara算法[24].实验在IntelCoreTM i7-10750H CPU@2.60 GHz,16.00 GB内存,Win10操作系统的计算机设备上进行,编程语言为Python和MATLAB.在仿真大量沙尘图像的基础上,本文选取其中部分图像进行定性和定量分析.

2.1 定性分析

本文算法和其他去沙尘算法处理后的实验结果如图7所示.由图7可见: Zhi算法处理后,图像色偏未得到很好地校正,前景偏蓝现象明显;Pan算法处理后,偏色问题得到改善,但整体图像偏暗,细节不突出;Li算法处理后,图像清晰度和对比度有相应提升,但整体色彩恢复效果不佳,并且仍存在薄雾影响和光晕问题;Shi算法对图像细节信息体现较多,但恢复图像色彩的能力较差,对色彩变化不明显的图像,处理后会造成图像失真,且从图中框选部分可见,对偏暗的图像信息处理后亮度提升效果也无明显改善;相比之下,经本文算法处理后,图像偏色问题基本解决,图像的色彩丰富度和清晰度有很大提升,而且对较大景深的图像也有明显的细节突出效果.

为更好地体现本文算法的色偏校正和去雾霾效果,将本文算法与当前处理效果较好的去雾霾算法进行对比,图8为本文算法与去雾霾算法处理图像对比结果.由图8可见,一些较好的去雾霾算法,去沙尘效果并不理想,主要体现在不能较好解决图像的偏色问题.相比之下,本文算法在色偏校正方面性能更好,而且清晰度恢复效果也具有明显优势.Berman算法处理后,图像整体清晰度有所改善,但色偏问题严重;Cai算法对整体图像偏色效果和清晰度恢复效果不明显,由图8(A)和(C)红色框选部分对比可见,色彩加深,即去除了部分雾霾的影响,但处理沙尘图像并不能达到实际效果;GCA-Net算法处理后,消除了部分雾霾影响,可以从8(A)和(D)框选中图像远景的清晰程度可见,但图像仍呈现整体偏黄的问题;Dhara算法处理后,由于该算法的自适应非线性色彩平衡算法受沙尘颗粒的影响,处理后色彩校正效果也会受很大干扰,导致图像偏色校正效果不佳;经本文算法处理后,色偏现象明显消除,去除了校正后薄雾的影响,而且还具有很好的颜色保真度.

图8 本文算法与去雾霾算法处理图像对比结果Fig.8 Comparison of image processing results between proposed algorithm and other dehaze algorithms

2.2 定量分析

由于目前还没有专门针对沙尘图像的评价标准,一般图像恢复的评价指标分为两类: 一类是参考方法;另一类是无参考方法.本文选用几个通用的无参考评价指标e,r和新型盲图像质量评估方法NBIQA进行客观分析,e用于衡量处理后图像和原始图像恢复边缘的能力,r参数度量处理前后图像的平均梯度,NBIQA是对图像质量进行综合评价.e,r指标值越大,图像恢复的清晰度和对比度越好;NBIQA指标越大,图像恢复的质量越好,失真程度越小.

表1列出了各算法对不同降质程度的图像处理后的客观评价结果.

表1 不同去沙尘图像算法处理后的定量分析结果

由表1可见,与其他对比算法相比,本文算法的综合指标值更高,说明处理后图像对比度和清晰度恢复效果更好,而且也优于其他算法的图像恢复质量.对低分辨率的降质不严重的沙尘图像,Shi算法处理后的r指标值更高,说明其对比度恢复效果较好,但从恢复后的图像效果可见,并不具有很好的图像保真度,即色彩恢复能力较差.对降质较严重的图像(a3),Li算法的NBIQA指标值更高,但是其色偏校正及对比度提升效果较差,不能保证恢复后图像的清晰度.

为更好地评估本文算法的性能,在与去雾霾算法处理效果对比中,引入平均梯度和对比度评价指标进行衡量.平均梯度反映了图像灰度变化程度和细节变化率,该值越大,图像纹理越突出,图像更清晰;对比度可体现出图像整体清晰度和细节,高对比度表明图像的细节更突出.表2列出了本文与不同去雾霾算法处理后的定量分析结果.

表2 不同去雾霾算法对图像处理后的定量分析结果

由表2可见,经本文算法处理后的平均梯度和对比度指标明显优于其他对比算法,即图像的细节信息和清晰度效果提升更显著.虽然图像质量评价指标NBIQA值稍低于某些算法,但其值也基本接近,而且从图像综合评价指标和实际效果可见,相比其他去雾霾算法,在沙尘图像色彩校正和清晰度恢复方面,本文算法处理效果最好.

综上所述,本文针对沙尘图像存在的色彩偏移、色彩丰富度及图像对比度低等问题,提出了一种有效恢复沙尘图像清晰度的算法.提出的偏色校正算法不仅有效解决了沙尘图像偏黄的问题,而且可以保持图像色彩均衡.针对色彩恢复后沙尘图像存在的薄雾现象,利用改进的暗通道先验算法进行去雾,并克服了算法处理后图像偏暗的问题,保证了暗部区域的亮度提升效果.此外,通过在HSI空间自适应饱和度调整和改进双伽马校正,有效解决了图像饱和度不足和对比度低的问题.实验结果表明,本文算法对恢复图像色彩和提升图像对比度效果很好,且在主观定性分析和客观定量分析中均优于其他对比算法,体现了本文算法的优越性.