桂便 祝玉华 甄彤

（河南工业大学 信息科学与工程学院， 河南 郑州  450001）

摘  要： 针对现有去雾方法在含有大面积亮白区域的图像中，传统方法有可能导致大气光值估计不准确，提出基于四叉树分解的方法，避免亮白区域对大气光估计的影响，在天空区域内对大气光进行准确估计;同时，为避免手工特征提取及假设条件的限制，利用三个不同尺度的卷积核对原始雾图进行卷积操作，经过网络的一系列特征学习之后得到待细化传播图;然后使用图像融合方法对其进行细化;最后，将估计的参数代入大气散射模型从而反演出清晰图像。合成和真实世界的粮库雾尘图像的定量和定性实验结果表明，该算法对于图像纹理细节以及天空区域的处理上有较好效果，且鲁棒性高，普适性强。

关键词： 粮库图像; 图像去雾; 四叉树分解; 光值估计; 卷积网络; 图像融合

中图分类号： TN911.73?34                         文献标识码： A                      文章编号： 1004?373X（2020）14?0121?04

Research on Grain Depot Image defogging Algorithm in Hazy Environment

GUI Bian， ZHU Yuhua， ZHEN Tong

（College of Information Science and Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract： As the traditional defogging method could cause the inaccurate estimation of atmospheric light value in the images containing large areas of bright white， a method based on Quadtree decomposition is proposed， which avoids the effect of bright white areas on the atmospheric light estimate， and accurately estimates the atmosphere light in the sky area. In order to avoid the limitation of handwork feature extraction and assumed condition， the convolution operation of the original fog map is conducted by means of the three different?scale convolution kernels， the diffusion map to be refined is obtained by a series of feature learning of the network， and then the image fusion method is used to refine it. The estimated parameters are incorporated into the atmospheric scattering model to produce a clear image. The experimental results of quantitative and qualitative of the synthetic and real?world grain depot fog image demonstrate that the algorithm has better effect on image texture details and the processing of sky area， and has high robustness and strong universality.

Keywords： grain image; image fogging; Quadtree decomposition; light value estimation; convolution network; image fusion

单幅有雾图像去雾算法一般需要估计雾图像形成模型中的透射率和天空亮度参数这两个关键部分。为了完成这两部分的估计，传统基于先验的方法发现各种各样新的雾相关先验或者通过提出新的方法来使用它们。但是，对于现实生活中各种各样不同的场景，雾相关先验可能会失效。相比之下，基于学习的方法通过数据驱动的方式来探索雾图及其对应透射图之间的映射模型，改进了传统基于假设的方法，得到更加准确的透射图。然而，该类方法仍采用传统方法对天空亮度参数进行估计，导致对明暗变化强烈的图像处理时图像暗部细节丢失，引入了色偏、过增强等一系列的负面效应。故本文提出基于四叉树分解的方法。

1  本文算法实现

1.1  获取大气光

大量实验证明，天空区域在视觉效果表现上其亮度值明显高于非天空区域，局部区域相对平滑，即像素强度较大，像素值之间差值较小，标准差较小[1]。因此，基于这两种特性，本文具体实现算法如下：

1） 设定阈值X值为100，划分子像素块长宽方向像素值乘积（Wn×Hn）小于100作为分解的终止条件。

2） 将输入图像平均划分为4个象限，即[Pin]，n为划分的迭代次数，i[∈][1，2，3，4]，分别代表左上限、右上限、左下限、右下限。

3） 对每一个象限，分别计算像素强度平均值和标准差，分别定义为Avg（[Pin]）和Std（[Pin]）。

4） 计算每个象限的最终结果Total（[Pin]），表达公式为：

[Total（Pin）=Avg（Pin）-Std（Pin）] （1）

5） 将Total（[Pin]）最大的象限分解为4个子象限，重复步骤3）、步骤4），直至满足迭代终止条件：Wn×Hn<100。

6） 当迭代终止时，将Total最高区域[Totalhighn]内的亮度强度平均值作为大气光[2]A，表示为：

[A=1Wn×Hnx∈TotalhighnI（x）] （2）

图1选择一幅有雾图像进行测试，并与现有方法（He方法、Shwartz方法以及Tan方法）进行试验对比。从图中很明显看出，本文方法准确定位出了大气光位置（如图1b）中方框圈出的区域），相比之下，对比方法将大气光都定位在了干扰物上。

1.2  透射率估计

为估计出精确的传输图，建立雾尘图像及其传输图之间的映射关系，本文提出了MS_CNN，一个可训练的端到端系统[3]，通过有监督学习方式准确地学习有雾图像及其对应传输图之间的映射关系。

1.2.1  网络设计

1） 多尺度特征提取。在雾图像输入到模型之前先对图像做预处理，预处理阶段首先将原始的RGB有雾图像归一化到320×240，同时由于图像灰度图含有丰富的图像边缘信息，在细化传输图时能起到很大作用，但是实际操作中运算会比较复杂。因此，需要对归一化之后的RGB图像进行下采样处理，下采样率设置为1.05，缩短网络训练时的运行时间，分别保留下采样之后的RGB图像并将其转换为灰度图像。经过预处理之后的RGB图像大小为304×228作为网络第一层的输入[4]。

采用3个不同尺度的卷积核对输入图像提取不同尺度的雾相关特征，用96个大小分别为11×11，9×9，7×7的卷积核，卷积跨步设为4，经过卷积之后特征图大小为74×55，基于Maxout激活函数强大的拟合能力，能够拟合任意凸函数的特性，本文在多尺度特征提取阶段的卷积层使用Maxout激活函数，取每张特征图的最大值作为输出结果，将3种尺度卷积得到的结果经过Maxout激活层后获得雾相关特征图。最后将获得的雾相关特征图按通道叠加以便之后的特征学习[5]。每个卷积核对有雾图像进行特征提取并将其表示为高维向量的过程定义为F1，具体表示如下：

[F1=max（0，W1x+b1）]      （3）

2） 特征学习。由于进行非线性变换前的激活输入值（y=wx+b，x为输入）随着网络深度不断加深或对网络进行训练时，其分布不断发生偏移，整体分布向非线性函数取值区间的极限饱和区靠拢，导致网络收敛速度越来越慢，出现梯度消失的问题[6]，因此，本文在第3层、第4层、第5层的卷积层之后引入批标准化（Batch Normalization，BN），通过一定的标准化手段，将每个隐含层神经元的输入值x的分布强制拉回到正态分布，均值为0，方差为1，以此避免梯度消失的问题。其计算公式如下：

[BNδ，β（x）=y=δx-μσ2+φ+β]   （4）

式中：[μ]为x的均值;[σ2]为方差。在批标准化层之后采用ReLu作为激活函数。该激活函数在特征提取中对特征的平移、缩放和旋转具有不变性，相比其他激活函数，省去了复杂的运算，收敛速度较快。其定义如下：

[F（x）=max（0，x）] （5）

第6层为池化层以下采样的方式，适当地保持特征信息，降低特征维度，本文采用最大池化，Padding为0，Stride为1。为了保持输出的传输图大小与输入图像大小一致，本文在网络的第8层增加了一个上采样层，由于上采样会将图像线性放大，若上采样率过大输出图像将会变得模糊，而且在一定程度上限制了图像特征[7]。因此，本文将上采样率设置为4.2，最后输出图像大小为73×54。

3） 非线性回归。由于网络提取到的特征在输出前的上采样层有多个通道，因此，本文采用一个非线性结合器在上采样层之后结合特征通道。

1.2.2  网络训练

1） 数据集。本文选择2 000幅与粮库场景大致相同的清晰图像及其对应的深度图，之后基于式（2）和大气散射模型生成传输图像及其对应的雾霾图像。利用式（2）生成传输图像时，散射系数[β]取值区间为[0.75，1.5]。[β]值过小，合成图像中雾浓度太薄且有噪点产生;[β]值过大，透射率值t（x）超于0。基于大气散射模型生成雾霾图像时，光照强度A=（k，k，k），k[∈][0.7，1.0]。在合成图像时，[β]在[0.75，1.5]随机取4个值，最终在合成图像中获得8 000幅雾霾图像和传输图像数据集[8]。同理，利用Middlebury立體数据集生成40幅图像作为验证集。

2） 网络训练。先对所有权重[Wni，j]和偏置[bni，j]参数进行初始化，初始偏置设为0。初始化完成后，本文利用随机梯度下降法更新权重[Wni，j]和偏置[bni，j]，更新规则为：

[Wni，j=Wni，j-α??Wni，jJW，b] （6）

[bni，j=bni，j-α??bni，jJW，b] （7）

式中，[α]表示学习率，初始[α]为0.001，迭代次数每增加20次，学习率下降0.1，迭代值为70。采用式（8） 作为所提网络模型的损失函数，来比较真实传输图[tix]与预测传输图[t*ix]之间的差值。

[Ltix，t*ix=1mi=1m（Δti）2]  （8）

式中：[Δti=tix-t*ix];i是像素点;m是训练集中有雾图像的数量。本文所提模型的具体网络结构如图2所示。

1.2.3  传输图的细化

考虑到图像灰度图含有丰富的图像边缘信息，因此本文在经过多尺度卷积神经网络获取到图像的粗略传输图之后，采用图像融合的方法，将灰度图像和粗略传输图像融合成高质量的传输图像。图像融合能够将灰度图像和粗略传输图像中对同一对象的有力信息结合起来[9]，对图像的可靠信息充分利用，改善目标图像的清晰度。本文采用加权平均融合，可以最大限度地保留原始图像中的细节信息。加权方法公式为：

[I（x，y）=θ1·i1（x，y）+θ2·i2（x，y）] （9）

式中：[θ1]和[θ2]为加权系数，满足[θ1]+[θ2]=1;[（x，y）]为像素的坐标位置;[i1（x，y）]为灰度图像;[i2（x，y）]为粗略传输图像，经过实验，选定加权系数[θ1]为0.4，[θ2]为0.6。

1.2.4  复原无雾图像

利用所提算法获得A和t（x）的估计值之后，开始复原清晰图像。但是当传输t（x）的值趋近于0时，J（x）值偏大，容易出现噪点[10]，因此本文对于t（x）的值设定一个下限值0.1，最终的去雾公式如下：

[J（x）=I（x）-Amax{0.1，t（x）}+A]  （10）

2  实验结果与分析

为验证本文所提方法的有效性，在真实和合成雾霾图像上进行了几组实验。将实验结果与先进算法（He方法、Tarel方法、Meng方法、DehazeNet方法）等作对比，同时进行定性和定量分析。实验平台为Matlab 2016a，运行环境为64位Windows 7，计算机配置为Intel[?]Core（TM） i5?3470 CPU @3.20 GHz，内存8 GB。

2.1  合成图像对比实验

本文使用4个例子：车辆、道路、库区、门口。同时，为公平起见，本实验图像尺寸均为304×228，在同一台PC机，同一环境运行。图3展示了不同算法的去雾结果。从图3可以看出，He方法和DehazeNet方法结果更接近于地面清晰图像，但He方法基于无雾图像的暗通道图像往往趋于0，倾向于高估雾厚度，最终导致去雾后图像颜色偏暗;Meng方法过度去雾，导致去雾结果颜色偏深;Tarel去雾效果较差，去雾结果上下对比明显，下半部分没有实现去雾[11];DehazeNet方法去雾结果有一些残余的雾度，去雾结果偏暗。相比之下，本文所提算法从视觉效果上看更舒适，颜色较亮，对于天空区域的处理也较为自然，且对于较远处的物体，能较好地去除雾气。

2.2  真实图像对比实验

图4为真实图像上不同算法去雾后各个指标的结果。

相比He算法，本文算法运行时间明显缩短。所有算法中本文算法的MSE值是最低的，说明本文算法去雾结果失真差异较小，图像内容更接近于原图像。

总体上来说，本文算法的PSNR指标占有优势，说明该算法的去雾结果受噪声影响较小，结果比较清晰;同时，在SSIM指标上，本文算法结果明显高于Meng算法和Tarel算法，与He方法和DehazeNet方法结果大致相当，说明所提算法在图像边缘细节处处理结果较好。

3  结  语

针对基于学习的方法在进行图像复原时，往往采用传统方法估计大气光，造成图像暗部细节丢失，同时为克服亮白区域对大气光值估计的影响，本文首先采用四叉树分解的方法对大气光进行准确估计;然后利用多尺度卷积神经网络通过学习的方式获得粗略传输图，避免了传统手工特征提取以及先验条件的限制;之后基于灰度图像含有丰富的边缘信息，采用图像融合的方法对传输图进行细化。

对于含有亮白区域和天空区域的有雾图像，获取大气光和传输图的准确值，能够保持较高的鲁棒性，经大气散射模型复原的清晰图像视觉效果上更为自然，细节信息突出，没有出现光晕或伪影现象，表现出较好的去雾效果。

注：本文通讯作者为甄彤。

参考文献

[1] 向文鼎，杨平，许冰.基于自适应阈值分割和融合透射率的图像去雾算法[J].计算机工程，2019（5）：1?8.

[2] 赵建堂.基于深度学习的单幅图像去雾算法[J].激光与光电子学进展，2019（31）：1?13.

[3] 于平平，徐建格，刘学孔，等.基于明亮区域和天空识别的图像去雾算法[J].河北工业科技，2019（3）：1?6.

[4] 雎青青，李朝锋，桑庆兵.改进多尺度卷积神经网络的单幅图像去雾方法[J].计算机工程与应用，2019，55（10）：179?185.

[5] JIANG Y T， SUN C M， ZHAO Y， et al. Image dehazing using adaptive bi?channel priors on super?pixels [J]. Computer vision & image understanding， 2017， 165： 17?32.

[6] SINGH Dilbag， KUMAR Vijay. Image dehazing using Moore neighborhood?based gradient profile prior [J]. Image communication， 2019， 70： 131?144.

[7] LIU T， SONG W， DU C， et al. Fast single image defogging method based on physical model [C]// Eighth International Conference on Digital Image Processing. Chengdu： IEEE， 2016： 101?113.

[8] HE X Y， MAO J X， LIU Z W， et al. A fast algorithm for image defogging [C]// Chinese Conference on Pattern Recognition. Heidelberg： Springer， 2014： 149?158.

[9] MAKOVETSKII A， VORONIN S， KOBER V. Image dehazing using total variation regularization [M]// Rohit M Thanki， Ashish M Kothari. Applications of digital image processing XLI. Ontario： Springer， 2018： 143?150.

[10] LIU Qi， GAO Xinbo， HE Lihuo. Single image dehazing with depth?aware non?local total variation regularization [J]. IEEE transactions on image processing， 2018（7）： 202?212.

[11] KAPLAN N H， AYTEN K K， DUMLU A. Single image dehazing based on multiscale product prior and application to vision control [J]. Signal image video process， 2017，11（8）： 1389.