臧景峰 安彦霖

摘要：目前视频去雨雾技术只在去雾或去雨、去模糊、图像配准等某一个特定任务中表现很好，具有一定的局限性。而卷积神经网络的堆叠和利用可以同时实现视频图像增强所需的多种功能。本文基于卷积神经网络对含有雨雾的视频图像进行处理，采用深度残差网络实现视频图像去雨雾。本文灵活运用深度学习，得到了一种优化的视频去雾雨算法，具有重要的研究意义和实用价值。

关键词：图像增强;图像去雾雨;深度学习;深度残差网络

引言

近年来，视频图像成了人们获取信息的必要途径。雾、雨、雪等恶劣天气为图片带来的噪声和污染，常常会导致后续的分类和识别不准等影响，因此图像去雨雾的研究对于需要在恶劣天气下进行图像处理的具有极大的应用价值。现有的方法有实时性低、处理过程计算量大的缺点。本文在卷积神经网络的基础上，提出了一种基于深度残差学习的视频去雨雾网络，对图像去雾去雨研究具有重要意义。

1 深度学习基础

1.1深度残差网络原理

深度残差网络采用跳跃连接的方式，直接将输入信息绕道传到输出，整个网络只需要学习输入、输出差别的部分，简化学习目标和难度，解决了由于网络层数加深产生的梯度消失和爆炸的问题。

假设网络输入X，希望输出H（X），那么网络就只需要学习输出一个残差F（X）。令残差函数F（x）=H（x）-x，则原函数变为F（x）+x，于是直接在原网络的基础上加上一个跨层连接，这里的跨层连接也很简单，就是将X恒等映射（Identity Mapping）传递过去。

1.2 注意力机制与深度学习

注意力机制指神经网络具有将注意力集中于所需要的特征的能力。计算能力是深度神经网络发展的瓶颈，引入注意力机制，可以有效的减少运用的运算资源。

本文将注意力机制加入深度残差网络，形成了残差注意力模块，更好的提取所需要的特征，并通过残差学习的方式将噪声与干净的背景图分离，从而得到清晰的图片。

2 深度残差去雨雾算法

2.1 深度残差去雨雾网络模型

本文选择动态场景采集的视频图像，经过特征提取器，提取我们所关注的雨、雾特征并进行去除。本文提供了训练本网络所用的数据集和网络的性能测试方案。

2.2 特征提取模块

输入的特征图先经过卷积层、批归一化层、带有激活函数为Relu的卷积层，构造了9个残差注意力聚集模块（Res-ABlock）通过堆叠的方式，进行高维特征的提取和变换，既能够提取更丰富的高维特征，又通过引入注意力模块避免了残差聚集网堆叠而造成的计算效率低。

2.3 残差注意力模块（Res-ABlock）

注意力模块通常是在通道和空间两个维度上进行建立。与通道注意力机制不同的是，空间注意力机制是基于每一个特征图的空间像素值的相关性程度不同而建立的。利用特征的内在相关性，让网络集中于关键特征的位置。

3 实验方法及结论分析

3.1 数据集选择

选择合适的数据集，可以在测试性能过程中得到更具说服力的结果。将数据集分为训练集和测试集两部分，训练集用于网络学习获得提取和去除雨雾特征的性能，测试集用于测试网络性能的优点和局限性。去雾采用RESIDE数据集，去雨采用Rain100L和Rain100H数据集。

3.2 训练环境及参数

使用随机梯度下降法，其动量参数为0.85，权重衰减参数为5e-4。随机梯度下降的批处理数量为128。我们一共将全部样本训练了10个周期，在开始训练时将学习率设置为0.01，在第5，7，9个周期时将学习率乘上0.1。

3.3实验结果及分析

本文采取不同浓度图片分别进行测试，应用经典和最新算法对比进行对比，测试指标采用PSNR（峰值信噪比），每种类型图片应用了两组不同的测试样本，每组有十张照片，所得的结果为测试样本的平均值。

由实验结果可以看出，本文算法在薄雾中雨、中雾无雨、中雨浓雾图片上效果明显优于其他三种算法，在薄雾中雨的条件下效果最为显著。

4 结语

本文提出了一种基于深度残差学习的视频去雨雾网络，针对含有雨雾的视频图像，既可以达到良好的去除雨雾的效果，又能够保证图像的细节不被损坏，保护视频图像的完整性，改善过于平滑的问题。引入注意力模块与残差网络相结合，有利于堆叠成深度模型来提高网络性能，能在一定程度上弥补卷积操作的固有缺陷。作为计算机视觉中图像分析必不可少的前序步骤，本文算法在去雾、去雨任务上达到良好的效果，能更好的实现视频图像的去雨雾，使视频图像清晰化。

参考文献

[1]汪昱东，郭继昌，王天保.一种改进的雾天图像行人和车辆检测算法[J].西安电子科技大学学报，2020，47（04）：70-77.

[2]张杰，隋阳，李强，李想，董玮.基于卷积神经网络的火灾视频图像检测[J].电子技术应用，2019，45（04）：34-38+44.

[3]Mostafa M.El-Hashash，Hussein A.Aly.High-speed video haze removal algorithm for embedded systems[J].Journal of Real-Time Image Processing.2016-06-04.

[4]Sibaji Gaj，Anoop Kumar Rathore，et al.A robust watermarking scheme against frame blending and projection attacks[J].Multimedia Tools and Applications.2016-10-07.

[5]Wang M，Mai J，et al.A component-driven distributed framework for real-time video dehazing[J].Multimedia Tools and Applications.2017-12-27，77（9）.

基金項目：JJKH20210839KJ，雨雾场景中基于卷积神经网络的视频图像增强方法研究，吉林省教育厅科学研究项目