孙红光, 房 超, 张慧杰, 刘丽红, 王建中(1. 东北师范大学 计算机科学与信息技术学院, 长春 10117; 2. 东北师范大学 智能信息处理吉林省高校

重点实验室, 长春 130117; 3. 北京理工大学 信息与电子学院通信技术研究所, 北京 100081)

随着数字图像技术的广泛应用, 由雾引起户外场景的变化而导致图像退化的问题日益突出. 退化的图像不利于电视监控系统、 智能交通系统及军用探测系统的实现, 因此雾天成像的清晰化问题已引起人们广泛关注, 目前已有许多研究结果, 如极化滤波使用多张带雾图像可估计出清晰的图像[1-2]; 不同设备拍摄的带雾图像, 通过对物理设备光学属性的估计, 也可以估计出无雾图像[3-4]; 景深作为图像中景物的固有属性, 可估计出雾的影响, 达到去雾目的[5-6]; 3D地理模型作为先验知识, 可估计无雾图像[7]; 而单幅图像信息量少, 难于直接将有雾图像恢复为无雾图像. 无雾图像相对有雾图像有更高的对比度[8], 最大化局部对比度可使有雾图像清晰化. 透射率与物体反光是独立的, 使用单图像估计出媒介的透射率, 可得到清晰图像[9]; 通过暗通道值低的特点估计出透射率, 可恢复清晰图像[10]; 基于中值滤波的方法, 运行速度快, 可轻易应用到灰度和彩色图像中[11]; 图像中物体的固有属性可作为隐Markov模型的隐层, 通过估计物体固有属性估计出清晰图像[12]. 本文提出一种对暗通道值进行补偿的方法, 对单幅图像的大气光进行重新估计, 使原有方法可应用到不满足暗通道先验的场景中.

1 去雾方法的光学理论基础

景物反射光退化模型描述为本应进入成像系统的光, 在传输过程中由于液滴的存在而使部分光被遮挡和反射而未达到成像系统[13]:

(1)

其中:d表示图像的景深；λ表示波长;β(λ)表示大气散射系数;E∞表示大气光强;r(λ)表示成像系统和景物反射属性的函数.

空气光线增强模型描述为雾现象的小液滴反射空气光, 并传输到成像系统中光线的过程:

Ea(d,λ)=E∞(λ)(1-e-β(λ)d),

(2)

将式(1)与式(2)合并, 得

E(d,λ)=Edt(d,λ)+Ea(d,λ),

(3)

简写为[10]

I(x)=J(x)t(x)+A(1-t(x)),

(4)

其中:I(x)表示观察到有雾图像;J(x)表示无雾图像;t(x)表示透射率;x表示像素点.

本文基于上述模型, 分析其适用场景范围, 提出一种改进的去雾方法.

2 暗通道先验

基于暗通道的单图像去雾方法[10]是对白天无雾彩色图像的RGB通道进行分析, 结果表明: 单像素的邻域内总有一个通道值特别低, 甚至为0; 相应场景中有雾图像对应位置通道值也很低, 但不趋于0, 这些值来源于雾的影响. 由暗通道值可估计出该邻域内的雾影响值, 由式(4)可恢复无雾图像. 算法过程如下.

(5)

邻域内像素的RGB各通道值取最小值为

(6)

其中, 暗通道先验

(7)

从而可得估计

(8)

(9)

3) 估计大气光. 无雾状态下的大气粒子分布均匀, 近景与远景反射光的强度相似, 可获取到清晰的图像； 而雾天空气中反射光线粒子较多, 分布不均, 会遮挡景物反射光; 同时粒子反射光过强导致得到的图像较模糊. 单图像中, 最亮的像素点值更接近于大气光亮度. 可选取暗通道中0.1%最亮的像素值, 取其亮度最大值作为大气光A的估计.

4) 恢复原图像. 通过估计细化大气光A和透射率t, 可得恢复的无雾图像为

(10)

其中t0=0.1. 细化后的t会有0值出现,t→ 0时, 恢复图像会丢失景物信息, 选取t0=0.1可以保证去雾效果并且不丢失景物信息.

3 改进的暗通道补偿方法

将文献[10]算法应用到大量图片中, 结果如图1所示. 由图1可见: 光线充足、 色彩鲜艳的图像中, 该方法效果良好, 如图1(A)～图1(C)所示; 光线不足、 色彩单一的图像, 该方法效果不佳, 如图1(D)所示. 可见, 暗通道的效果对景物有一定的要求, 符合暗通道特征的图像才会有较好的效果, 而包含天空、 水面和纯白色物体的图像不符合暗通道的特点, 因此处理后效果不明显.

图1 用文献[10]算法的效果Fig.1 Result images based on reference [10]

3.1 暗通道分析与补偿

暗通道先验是基于室外白天拍摄的无雾图像, 内容为图像中非天空像素的邻域内, 像素中某像素点RGB通道中的某个通道值特别低. 如天空等特例的RGB通道值几乎相等且接近255, 这种情况下将暗通道的值认为由雾引起就会违背式(4)的理论. 因此, 使用暗通道先验没有得到很好的效果. 文献[14]提出一种容差机制K, 用于区分天空这类RGB三个通道值相差不大且接近255的情况. 将式(10)改写为

(11)

(12)

其中α为补充被忽略的暗通道值. 变形为

(13)

3.2 大气光

文献[11]认为白平衡先验先于图像恢复, 即假设大气光A是纯白色的. 而针对不同的图像, 由图像内容的不同, 可导致雾粒子反射光线的颜色偏离纯白色. 由于视觉系统中接受到的景物颜色是被反光物体吸收后而缺少的那部分颜色. 因此, 景物不同, 图像中最亮的像素偏于纯白色(太阳等光源景物除外). 透射率与景物到成像装置的距离关系[4]为

t(x)=e-βd(x).

(14)

文献[10]中大气光的估计为选取暗通道中前0.1%最亮的像素点, 取其中亮度最大值作为大气光A. 本文针对图像中不同景物有不同景深的特点, 提出重估大气光的方法. 先取暗通道中0.1%最亮的像素点, 并取其中亮度最大值A′, 将其映射到每个像素：

A=βA′,

(15)

其中β为约束系数, 与t的关系如下:

(16)

估计出的大气光基于像素, 即远景与近景的大气光不同, 可更好地恢复图像.

4 实验结果与分析

4.1 暗通道补偿

通过使用暗通道补偿方法, 可保持图像像素与其相邻像素间的梯度, 即可恢复图像也可保持恢复后的图像不再出现失真效果. 如图2所示, 其中: (B)为文献[10]的处理效果; (C)为暗通道补偿后的效果. 由图2可见: 色彩失真部分已被消除; 图像(D)比(C)显得更明亮, 更接近真实场景.

图2 不同方法对图像的改进效果Fig.2 Initial picture and improved result

4.2 重估大气光

由式(4)可知, 去雾效果与大气光的取值有关. 在去雾模型中, 图像中的雾化效果都是由于反射大气光的多少而导致发白, 而实际生活中的大气光不一定是纯白光, 通常都与附近的景物相关. 所以在原模型中, 直接取固定值或取图像中最大的像素值都不可取, 应根据景物的不同取不同的大气光.

图3为图2中图像相应的像素值. 由图3可见, 原算法过大地放大了像素间的梯度, 而使用暗通道补偿方法可降低放大像素间的梯度. 重估大气光后, 又在暗通道补偿的基础上降低了像素间的梯度, 使图像更接近真实图像.

4.3 使用均方误差(MSE)对去雾效果进行评价

采用FRIDA(foggy road image database)数据库[15], 分别使用文献[10]方法、 文献[14]方法和本文方法做实验分析, 用K080,L080,M080和U080四个数据集做测试, 并将各种方法的MSE求均值, 实验结果如图4和图5所示. 图4和图5为仿真带雾图像去雾后与仿真无雾图像的MSE曲线, 其中: 图4(A)～图4(D)分别为使用K080,L080,M080,U080数据集在原方法、 文献[14]方法和本文改进方法上求得的MSE值曲线; 图5为将图4 MSE求均值的结果. 由图4和图5可见, 使用暗通道补偿机制可使去雾图像接近于原图像, 在暗通道补偿上重新估计大气光使图像的MSE更接近于原图像. 图6为分别使用本文提出的改进方法与文献[11]中方法对数据集求得MSE值的散列点. 从每列上观察, 3个点中最低值表示运行结果最接近原图像. 由图6可见, 与文献[11]的方法相比, 本文方法重估大气光后的图像在多数情况下都较接近原图像.

(A) 原始图像; (B) 原算法; (C) 暗通道补偿; (D) 暗通道补偿和重估大气光.图3 图2中图像相应的像素值Fig.3 Pixels of pictures from Fig.2

图4 原方法、 文献[11]方法和本文方法对FRIDA数据库中4组数据集的MSE值Fig.4 MSE calculated by above mentioned four algorithms used FRIDA respectively

图5 对图4中MSE求均值结果Fig.5 Averaging the results in Fig.4 MSE

综上所述, 本文基于暗通道的去雾方法, 在对实验数据进行分析的基础上, 提出了一种改进方法, 并使用MSE进行分析评价. 实验结果表明, 本文的改进方法优于文献[10]的方法, 并扩大了文献[10]方法的适用范围.

图6 文献[11]方法与本文提出改进方法的MSE散列点Fig.6 MSE points calculated by reference [11] and proposed in this article

[1] Schechner Y Y, Narasimhan S G. Instant Dehazing of Images Using Polarization [C]//IEEE Conference on Computer Vision and Pattern Recognition. Kuaui: IEEE Press, 2001: 325-332.

[2] Shwatz S, Namer E, Schechner Y Y. Blind Haze Separation [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2006: 1984-1991.

[3] Cozman F, Krotkov E. Depth from Scattering [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 801-806.

[4] Nayar S K, Narasimhan S G. Vision in Bad Weather [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 1999: 820-827.

[5] Kopf J, Neubert B, Chen B, et al. Deep Photo: Model-Based Photograph Enhancement and Viewing [C]//Proceedings of Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: 1-10.

[6] Narasimhan S G, Nayar S K. Interactive Deweathering of an Image Using Physical Models [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 2003: 1387-1394.

[7] Hautiere N, Tarel J P, Aubert D. Toward Fog Free in Vehicle Vision Systems through Contrast Restoration [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2007: 1-8.

[8] Tan R T. Visibility in Bad Weather from a Single Image [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2008: 1-8.

[9] Fattal R. Single Image Dehazing [C]//Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: Article 72.

[10] HE Kai-ming, SUN Jian, TANG Xiao-ou. Single Image Haze Removal Using Dark Channel Prior [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2341-2353.

[11] Tarel J P. Fast Visibility Restoration from a Single Color or Gray Level Image [C]//IEEE 12th International Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2201-2208.

[12] Nishino K O, Kratz L, Lombardi S. Bayesian Defogging [J]. International Journal of Computer Vision, 2012, 98(3): 263-278.

[13] Narasimhan S G, Nayar S K. Contrast Restoration of Weather Degrade Image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[14] JIANG Jian-guo, HOU Tian-feng, QI Mei-bin. Improved Algorithm on Image Haze Removal Using Dark Channel Prior [J]. Journal of Circuits and Systems, 2011, 16(2): 7-12. (蒋建国, 侯天峰, 齐美彬. 改进的基于暗原色先验的图像去雾算法 [J]. 电路与系统学报, 2011, 16(2): 7-12.)

[15] Tarel J P, Aurelien Cord, Houssam Halmaoui. Foggy Road Image Database [DB/OL]. 2010-03-05. http://www.lcpc.fr/english/products/image-databases/-article/frida-foggy-road-image-database.