朱 熙，汪政阳，陈炳权

(吉首大学信息科学与工程学院，湖南吉首416000)

1 引言

汽车保有量的逐年增加，势必加重城市交通系统管控的压力。雾霾等恶劣天气给城市交通系统管控提出了更加严峻的挑战，在雾霾天气环境下如何准确、快速地获取目标车辆车牌信息的问题受到研究人员的广泛关注。雾霾图像去雾(即清晰化处理)是数字图像处理中的一个不适定问题，其旨在从雾天图像中恢复出相应的干净图像。雾霾由大气中悬浮的大量微尘、水滴等颗粒物构成，环境中大气光受到这些悬浮颗粒的影响而使得光学成像器件(如相机等)成像模糊不清，以致无法准确有效地记录场景中的有用信息，从而造成图像质量的损失。如在大雾霾天下，需要通过交通监控设备准确获得交通事故中逃逸车辆的车牌等重要信息时，就必须利用相关图像处理技术，对监控设备抓拍的车牌雾图进行后期处理，以获取所需要的车牌等重要信息。

图像去雾算法主要包括以下3种：基于数学模型的去雾算法，以图像增强方法为主，如直方图均衡、小波变换、色彩恒常性理论(Retinex)等；基于物理模型和先验信息的去雾算法，如暗通道先验(DCP)、色衰减先验(CAP)、非局部先验(NLP)以及通过深度神经网络来进行去雾，如DehazeNet、CycleDehaze、KTDN等。

为解决雾霾天气下车牌图像识别欠准确的问题，大多数研究人员采用基于数学模型或物理模型的方法进行去雾，如通过改进暗通道先验(DCP)去雾算法进行去雾。虽然，这些算法在处理薄雾图像的边缘纹理信息、色彩保真度方面都有一定的效果，但对于浓雾的处理和车牌细节特征的还原上效果不理想，且上述算法本身并未着重针对车牌图像特点来进行设计，大部分只是简单地作为车牌分类的辅助处理方法。王巧月等首次有针对性的对车牌图像的颜色和文字特征来进行去雾，但对于实际拍摄的浓雾车牌图像的处理效果欠佳。近年来，随着神经网络相关理论在雾霾图像处理领域的广泛应用，也有学者提出，直接引入训练好的基于神经网络的去雾算法来作为车牌图像分类的去雾预处理算法，虽然有一定的去雾效果，但很难恢复出车牌图像的细节特征。

本文主要工作如下：

1)为了解决利用深度卷积神经网络进行车牌去雾时车牌雾图数据样本欠缺的问题。本文以OpenITS提供的高清图像为主要来源，通过大气散射模型这一物理模型首次构建了一个车牌雾图数据集(LPHaze Dataset)，并以此来训练本文提出的车牌雾图去雾网络。

2)针对车牌雾图特征，并借助相关的基于神经网络的去雾理论，本文以U-Net为主体框架，提出了一种基于小波域的深度增强车牌雾图去雾算法，该算法利用小波变换将原始车牌雾图中丰富的细节信息几乎无损的转换到小波域中，然后，引入图像去噪中的增强策略“Strengthen-Operate-Subtract”(简称“SOS”增强策略)来进行特征图像的融合和细化，以此来提升去雾图像的峰值信噪比，同时，结合深度神经网络(DNN)中有效的残差结构来提高重构去雾图像的质量。

2 车牌雾图数据集(LPHaze Dataset)的构建

为了更具有针对性的训练车牌雾图去雾网络，以OpenITS提供的OpenData V3.1-SYSU功能性能车牌图像数据库作为车牌图像数据的主要来源，并辅以中科大开源数据集CCPD来构建第一个车牌有雾-无雾图像数据集。OpenData V3.1-SYSU功能性能车牌图像数据库包括《GA36-2014中华人民共和国机动车号牌》标准中的各种类型(临时车牌除外)和各省市的去隐私车牌图像共3383张，开放数据均选自道路卡口高清图像(摩托车牌除外)，每张图像只包含一个车牌，并且图像中车牌区域单个字符高度均大于25个像素(双层车牌以下层字符高度为准)，图像背景单一，车牌字符成像清晰、无粘连、亮度均匀，车牌图像倾斜角微小，其中开放功能车牌图像数量和类型如表1所示。

表1 开放功能车牌图像数量和类型

LPHaze Dataset数据集的制作方法主要借鉴于RESIDE数据集的制作方式，通过大气散射模型来合成有雾-无雾车牌图像对，再将其划分为训练集和验证集。具体步骤如下：① 预处理。从OpenITS和CCPD数据集中随机选取2291张清晰图像，并对这些清晰车牌图像的车牌区域进行截取；② 配置大气散射模型参数值。分别选取一组不同的大气光值A=[0.6，0.7，0.8，0.9，1.0]和一组不同的大气散射系数值β=[0.4，0.6，0.8，1.0，1.2，1.4，1.6]，并将场景深度d(x)置为1；③ 合成车牌有雾-无雾图像对。采取一张清晰车牌图像对应多张车牌雾图的方法来合成图像对，即根据式(1)

I

(

x

)=

J

(

x

)

t

(

x

)+

A

(1-

t

(

x

))

(1)

其中：

I

(

x

)为雾天图像；

J

(

x

)为无雾图像；透射率

t

(

x

)为没有被散射且到达相机或人眼的大气光，在均匀雾度环境下，透射率

t

(

x

)=

e

-()。结合步骤②中选定的参数值，并以一张车牌无雾图像对应35张有雾图像的方式来合成数据集。合成车牌雾图示例如图1所示。④ 划分训练集和验证集。训练集中干净车牌图像1697张，对应的车牌雾图59395张；验证集中干净图像594张，对应的车牌雾图20790张。

3 车牌去雾网络结构设计

本文提出了一种基于小波域的车牌雾图去雾算法，该算法主要采用U-Net作为主体框架，即以U-Net的编/解码器结构为基础进行去雾网络结构的搭建，网络总体结构(从上至下依次编号为1-5层)如图2所示。

图1 合成车牌雾图示例

图2 车牌雾图去雾网络结构概览

整个网络的组成如下：① 小波分解。使用二维离散小波变换(2D-DWT)对输入图像进行小波分解，得到相应的小波域分量；② 编码器。编码器的构造主要采用卷积层(ConvLayer)和由多个残差块组成的残差组(ResGroup)来进行构建；③ 解码器。解码器主要包括：基于残差组构建的“SOS”增强模块(“SOS”Block)，上采样层(UpLayer)，即转置卷积层；④ 小波重构。对解码器最终输出的小波域分量进行小波逆变换(IDWT)，以重构出无雾车牌图像。

整个网络的网络结构参数见表2。

表2 车牌雾图去雾网络结构参数

3.1 小波变换机理

小波是分析图像信息的有效方法，因为它们将图像谱分解为多尺度和定向的子带图像。此外，通过小波变换可以几乎无损的保留图像的高频、边缘等细节信息，因此，很多研究人员借力于小波变换的这一特性来助力图像分类、超分辨率、医学影像处理等任务，从而提高网络模型性能。首先，通过基于

Harr

小波的2

D

离散小波变换(2

D

-

DWT

)，将车牌雾图

I

分解为小波域中的四个分量，分别为下采样图像I、水平边缘检测图像I、垂直边缘检测图像I和对角线边缘检测图像I(后三者为高频带)，从而使得车牌雾图在小波域中呈现更多的图像边缘轮廓等细节信息。最后，经过由卷积和残差组构成的四层编/解码器来尽可能提取小波域分量的特征，并通过小波逆变换重构出去雾车牌图像。DWT的正/逆变换过程如图3所示(其中L、H分别为一维低、高通滤波器，↓2、↑2分别为尺度为2的下、上采样)。正/逆变换公式可表示如下

I

，

I

，

I

，

I

=

DWT

(

I

)

(2)

I

=

IDWT

(

I

，

I

，

I

，

I

)

(3)

由图3 可知，二维离散小波变换的分解操作可以视为对输入图像I的行和列进行一维低/高通滤波器的滤波和下采样，从而得到四幅小波域中的子带图像(I，I，I，I)，且图像大小均变为原图的四分之一，然后，对这四幅子带图像进行逆向操作就能重构出原图像。一级小波分解示例如图4所示。

图3 2D-DWT的正/逆变换过程

图4 车牌图像2D-DWT分解示例

3.2 残差组(ResGroup)的组建

残差结构最早由

He

等人提出，由于其在深度神经网络中所表现出的优势，如今已经被广泛应用于各种基于神经网络的图像处理任务中。如表2所示，本文提出的车牌图像去雾网络结构中的层1到层5均采用了由残差块叠加而成的残差组来作为整个网络的特征提取器。在整个去雾网络中，

U

-

Net

框架的每一层均通过残差组来尽可能挖掘小波域分量图像中潜藏的边缘特征等细节信息，其中前四层均采用残差组1(

ResGroup

1)，且每个残差组由3个串联的残差块构成，而最后一层残差组2(

ResGroup

2)则由18个残差块进行串接。残差组中单一的残差块(

ResBlock

)结构如图5所示。

图5 ResBlock结构

残差块的总体结构依然沿用了

He

等人的经典残差结构，均使用了卷积核大小为3×3的卷积层，但不同的地方在于所使用的激活函数，经典残差结构采用的是

ReLU

激活函数，而本文则采用

PReLU

激活函数，

PReLU

是一种带参数修正的

ReLU

激活函数，其表达式为：

(4)

在残差块中，y表示残差块的第一个卷积输出，a为一常数。编/解码器中第l层的残差块结构的输出y可表示为(其中l=1，2，3，…，5)

y

(

x

)=

Add

(

Conv

(

PReLU

(

Conv

(

x

)))，

x

)

(5)

其中，x表示编/解码器中第l层的残差块的输入，Add(·)表示逐元素相加，Conv(·)表示卷积。由残差块构成的残差组1的结构如图6所示，其输出可表示为

ResGroup

1(

x

)=

Add

(

x

，

y

(

y

(

y

(

x

))))

(6)

图6 ResGroup 1结构

3.3 “SOS”深度增强策略的引入

Yaniv

Romano

等人和

Hang

Dong

等人对“

Strengthen

-

Operate

-

Subtract

”增强策略(“

SOS

”)的开发和利用，表明该算法能对已增强的图像进行细化处理，从而提高去雾车牌图像的峰值信噪比(

PSNR

)。因此，在本文的车牌图像去雾网络解码器结构中依然将“

SOS

”增强算法嵌入到

U

-

Net

结构中，来提升车牌雾图的去雾质量，

Hang

Dong

等人所采用的“

SOS

”增强算法的近似数学表达式如下：

(7)

图7 “SOS”深度增强模块

(8)

其中，↑2表示尺度因子为2的上采样操作。

4 仿真结果与分析

4.1 数据集和实验环境设置

随机从本文构建的车牌有雾-无雾图像数据集(

LPHaze

Dataset

)中选取1697张干净车牌图像和相对应的59395张车牌雾图作为车牌雾图去雾模型的训练集，剩余594张干净车牌图像和相对应的20790张车牌雾图作为验证集。所有干净和有雾的车牌图像大小均被调整为128×64像素。为提高模型的鲁棒性，利用随机水平翻转和随机垂直翻转来对训练数据进行数据增强处理，其中翻转概率随机取值为0或1。车牌雾图去雾网络在训练时，每训练完一轮训练集就使用验证集对训练完的模型进行验证。整个去雾网络完整训练120个

epoch

，并使用

Adam

优化算法对其进行优化，其中

Adam

优化算法的

β

=0

.

9和

β

=0

.

999，同时，使用

L

损失函数来对网络预测的无雾图像和干净图像进行限制。训练时使用的

batch

size

为64，初始学习率为1e，在训练到106个

epoch

时，将学习率调整为1e。所有的网络模型训练均在

GeForce

RTX

3090上进行。实验从两个方面进行，分别是合成车牌雾图的去雾实验和实际拍摄的车牌雾图实验。对于前者，主要从定性(主观)和定量(客观)两方面来进行分析与评价，以证明本文算法的有效性，主观分析主要通过实验人员对车牌雾图去雾图像进行观察，而客观分析则主要采用峰值信噪比(

PSNR

)和结构相似度(

SSIM

)指标来进行定量分析；对于后者，则主要是对去雾效果进行主观评价。同时，将本文提出的算法和以下经典去雾算法进行比较：基于引导滤波器的暗通道先验算法(

GFDCP

)、色衰减先验算法(

CAP

)、基于边界约束和上下文正则化的去雾算法(

BCCR

)、一种基于深度学习的端到端的去雾算法(

DehazeNet

)和一种用于单幅图像去雾的基于先验学习的近端去雾算法(

PDNet

)。

4.2 合成车牌雾图去雾结果

合成车牌雾图实验数据主要由

OpenITS

提供，即从中随机选取594张高清卡口拍摄的车牌图像(与

LPHaze

Dataset

训练集不重复的图像)，按照

LPHaze

Dataset

的构造方法来合成对应的车牌雾图，并取以下5组车牌雾图的去雾效果进行效果展示和定量分析。其中，每组的去雾效果展示和定量分析数据分别如图8和表3所示。

表3 合成车牌雾图的PSNR/SSIM值

图8 针对不同算法的合成车牌雾图去雾效果比较

总体而言，在处理不同大气光值

A

和透射系数

β

的合成车牌雾图上，本文算法的去雾效果均要优于其它对比文献算法。从图7中透射系数

β

=0

.

8，1

.

0这两组车牌雾图的去雾效果中可以观察得出，除

BCCR

对去雾后的车牌有过度曝光现象以外，所有算法对于车牌雾图的去雾均有着较好的效果。但是，在对透射系数

β

=1

.

2，1

.

4，，1

.

6这三组车牌雾图的去雾效果上，除本文算法以外，其余算法均出现一定的雾度残留，其中

BCCR

、

CAP

和

GFDCP

还会出现一些色彩失真现象。而表3则用于将本文算法的结果与其它方法进行定量比较。从表中可以看出，本文所提出的车牌图像去雾算法可以产生比其它算法更高的峰值信噪比(

PSNR

)和结构相似度(

SSIM

)值。

4.3 自然车牌雾图去雾结果

实际拍摄的自然车牌雾图数据选自

OpenITS

的车牌图像数据库，从中一共选取915张实际拍摄的车牌雾图进行去雾算法效果测试，车牌雾图去雾效果展示示例如图9所示。

图9 实际拍摄的车牌雾图去雾效果展示比较

从图8中可以观察得出，本文提出的车牌雾图去雾算法总体的去雾效果在去雾车牌颜色和字符的恢复上更接近真实干净的车牌图像，而其余算法的去雾效果则或多或少的存在过度曝光、颜色失真和雾度残留的问题，如

BCCR

在进行车牌图像去雾时，会出现明显的过度曝光现象以及在对黄底车牌雾图去雾时还会出现颜色失真，而

CAP

、

GFDCP

、

DehazeNet

和

PDNet

则主要表现出一定的雾度残留问题。

5 结论

本文依托于

OpenITS

车牌图像数据库，构建了一个专用于车牌雾图去雾网络训练的车牌雾图数据库

LPHaze

Dataset

。同时，提出了一种基于小波域的深度增强车牌雾图去雾算法，该算法利用图像在小波域中的稀疏性，降低车牌雾图到干净车牌图像的映射复杂程度。通过引入多个残差组和“

SOS

”增强策略来对输入的图像进行有效的特征提取、增强以及融合。在测试图像数据上的实验结果表明，本文算法恢复的车牌图像具有更好的去雾效果，并且在不同类型和雾度的车牌图像上具有较好的鲁棒性。但依然存在如下不足，同时针对这些不足将在后续研究中不断完善：

LPHaze

Dataset

中不同车牌类型的图像数据不均衡；未采取更行之有效的车牌雾图的雾度分级方法。