丁键 朱洪前 任会 李丹 杨国

摘 要：林区的治安防护管理一直是人们所欠缺关注的问题，林区作案、林区动植物的盗伐都透露出林区治安防护管理的短板。本文致力于机器视觉在林区的应用，为加强林区的防盗伐能力提出一种融合图像去雾处理的车牌检测算法，该方法采用限定对比度自适应直方图均衡化的技术去除大雾天、雨雪天等图像模糊的干扰，结合车牌的颜色、长宽比形态等特征对雾雨雪天气下的车牌进行检测。该方法相比普通车牌检测方法的效果有较大提升，雾雨雪天气环境下检测车牌的准确率可以达到88.00%，而普通车牌检测方法达到的准确率仅为82.67%。初步证明了本文提出的算法在林区雾雨雪天气下应用的可行性。

关键词：林区防护;限定对比度自适应直方图均衡化;车牌检测;去雾处理;复杂天气环境

中图分类号：TP391.4;U495    文献标识码：A   文章编号：1006-8023（2021）04-0094-08

Application of A Novel Algorithm for License Plate Detection with

Defogging Processing in Forest Region

DING Jian， ZHU Hongqian*， REN Hui， LI Dan， YANG Guo

（College of Materials Science and Engineering， Central South University of Forestry and Technology， Changsha 410004， China）

Abstract：The management of public security protection in forest areas has always been a problem that people lack attention to. It reveals the weakness of public security protection management in forest areas that committing crimes， illegal felling of trees and poaching animals. Our group has been committed to the application of machine vision in forest areas. In order to enhance the ability of forest area to prevent illegal cutting， this paper presents a novel algorithm of license plate detection which combines image defogging processing. This method uses the technique of contrast limited adaptive histogram equalization to remove the interference of image blurring in foggy， rainy and snowy days， and combines the features of the license plate such as color， aspect ratio， etc. to detect the license plate in fog， rain and snow weather. Compared with the ordinary license plate detection method， the result of this method has been greatly improved. The accuracy of detecting license plate in fog， rain and snow weather can reach 88.00%， while the accuracy of ordinary license plate detection can only reach 82.67%. This paper preliminarily proves the feasibility of the proposed algorithm in fog， rain and snow weather of forest areas.

Keywords：Forest protection; contrast limited adaptive histogram equalization; license plate detection; defogging processing; complex weather environment

收稿日期：2021-03-17

基金項目：中南林业科技大学研究生科技创新基金资助（CX20202017）;国家自然科学基金面上项目（61673166）

第一作者简介：丁键，硕士研究生。研究方向为林业机器视觉。E-mail： 20191200152@csuft.edu.cn

*通信作者：朱洪前，博士，副教授。研究方向为林业机器视觉。E-mail： zhuhongqian@163.com

引文格式：丁键，朱洪前，任会，等.一种新型增加去雾处理的车牌检测算法在林区中的应用[J].森林工程，2021，37（4）：94-101.

DING J， ZHU H Q， REN H， et al. Application of a novel algorithm for license plate detection with defogging processing in forest region[J]. Forest Engineering，2021，37（4）：94-101.

0 引言

由于林区位于城市边缘，基建的智能化相比之下较薄弱，大力促进森林资源的有效监管和保护是国家的迫切需要。林区常有大雾、风沙和雨雪等情况，环境相比较为复杂，为不法分子偷窃动植物、作案后隐匿提供了有机可乘的场所[1-2]。因此需要加强林区治安防护管理。车牌识别技术是交通智能化发展的一项关键技术，而车牌定位是车牌识别技术的关键环节，得到了专家学者们的广泛关注。目前车牌定位的方法主要有：基于车牌色彩信息方法、基于车牌纹理特征方法、基于边缘检测信息方法、基于车牌形态学特征方法、基于遗传算法检测方法和基于神经网络算法定位方法等[3-5]。

为了加强林区的治安防护管理，本文针对普通车牌定位算法在林区雾雨雪天气下的准确率较低，提出了融合限定对比度自适应直方图均衡化的图像去雾处理，基于颜色、边缘信息和长宽比等特征的林区车牌定位算法，进一步提高了车牌检测算法的准确率，从而为林区的治安管理提供方便。

1 CLAHE去雾算法

直方图均衡化（Histogram Equalization，HE）是图像处理中常见的图像增强手段，通过处理将原图像的灰度直方图在整个区域变成了均匀分布，改善了直方图局部分布集中造成的影响。局部直方图均衡化（Local Histogram Equalization，LHE）[6-7]是将图像分成多个子块，每个子块进行直方图均衡化，进而遍历整幅图像，得到图像增强效果，虽然对局部细节的增强效果较好，但是也容易出现过度增强的情况[7-9]。传统的全局直方图均衡化（Global Histogram Equalization，GHE），利用整幅图像的累积分布函数（Cumulative Distribution Function，CDF），逐步对图像中的每个像素点做了映射，从整体上提高了图像的对比度，但是也会忽略分散区域的像素点，丢失部分细节[10]。

自适应直方图均衡化（Adaptive Histo-gram Equalization，AHE），也是用来提高图像对比度的方法，不过与HE不同的是，AHE通过对图像局部直方图的计算，进而改变每一块的亮度，以此提升图像整体的对比度[11]，此算法利于改进图像的细节以及优化局部对比度。不过，AHE算法总是出现过度放大图像中相同子块噪声的问题[12]。

但是，还有一种限定对比度自适应直方图均衡化（Contrast Limited Adaptive  Histogram Equalization，CLAHE）的方法[13]，該方法能够有效地抑制图像增强处理过后产生的图像畸形变化和放大噪声等问题[14]。CLAHE与常规的AHE不同之处在于对比度限制幅度，CLAHE对于图像中的每个子块都会使用对比度限幅，这弥补了AHE中产生的过多噪声的问题[15]。

CLAHE的原理是通过裁剪子块直方图的高度来抑制局部对比度放大幅度的效果。

裁去的直方图的值称为裁剪限幅，裁剪限幅的过程为：第一步，将图像分为一个个子区块，计算子区块中的直方图;第二步，采用限定对比度的方法，将直方图中每个子块超出裁剪限幅的部分，合理分布到直方图中的其他区域，达到了对直方图每个子块重新分配的效果[16]，具体如图1所示。

对比度放大幅度可定义为图像灰度映射函数的导数[17-18]。若AHE方法的局部窗口大小为M×M像素，那么局部映射函数mi为：

mi=255×CDFiM×M。

式中CDFi为局部直方图的累积分布函数值。CDFi的导数为局部直方图的值Hisi，故局部映射函数mi的导数S为：

S=dmidi=255×HisiM×M。 （1）

由公式（1）可以看出，控制Hisi的大小即控制了S的大小，这就达到了抑制对比度放大幅度的效果。若存在最大斜率为Smax，则存在直方图的最大高度Hmax为：

Hmax=Smax×M×M255。

裁剪直方图中高度大于Hmax的部分，如图1所示。由图1可知，实际的裁剪过程是从T值处对直方图进行裁剪，然后将裁去的部分重新分布到整个灰度直方图上，确保直方图总面积不变，为此整个直方图高度上升L。图1中Hmax、T、L之间满足以下关系：

Hmax=T+L。

重新分配后，直方图的值为：

Histi′=Hisi+LHmaxHisi

综上所述，限制映射函数最大斜率Smax及相应的直方图最大高度Hmax，便可得到不一样的图像增强效果。

实际CLAHE图像处理状况对比如图2和图3所示，像素直方图分布对比如图4和图5所示，整体变化较明显。

2 车牌定位算法

基于颜色、边缘和长宽比等特征的车牌定位算法的步骤如下。

（1）使用OpenCV读取车牌图片，读取的颜色空间为BGR，将颜色空间BGR转换为HSV。

RGB是日常人们见过最多的颜色空间，由3个颜色通道组成一幅图像，分别是红色通道（Red，公式中记为R）、绿色通道（Green，公式中记为G）和蓝色通道（Blue，公式中记为B），这3种颜色可以形成不同组合来表示其他颜色。

在图像处理中，使用较多的是HSV颜色空间，比起RGB它更利于人们的理解和认知，直观的表达色调（Hue，公式中记为H）、饱和度（Saturation，公式中记为S）和明度（Value，公式中记为V）。由于HSV模型比较直观，很容易得到单一颜色，直接指定H即可，非常方便。因此想要获得车牌颜色的特征，直接查找HSV图片下的颜色区域即可。

RGB转HSV公式：

R′=R255，G′=G255，B′=B255。

Cmax=max（R′，G′，B′）

Cmin=min（R′，G′，B′）。

Δ=Cmax-Cmin。

H（Hue）的计算：

H=0°，        Δ=0

60°×（G′-B′Δ+0），Cmax=R′60°×（B′-R′Δ+2），Cmax=G′60°×（R′-G′Δ+4），Cmax=B′。

S（Saturation）的计算：

S=0Cmax=0ΔCmaxCmax≠0。

V（Value）的计算：

V=Cmax。

式中：R′为归一化后的红色色彩值;G′为归一化后的绿色色彩值;B′为归一化后的蓝色色彩值;Cmax为R′、G′、B′中的最大值;Cmin为R′、G′、B′中的最小值;Δ为Cmax与Cmin的差值。

RGB与HSV图像前后对比如图6和图7所示。

（2）查找HSV格式下车牌图片中所有符合蓝色区间的像素点，得到掩模底片，接下来对车牌图片进行图像掩模操作。

图像的掩模其实借鉴于印制电路板，其原理很相似，都是用预先选好的模板，对要处理的区域进行遮挡，这样在处理其他部分的时候，该区域就不会受到影响。上述中的模板又称掩模，在数字图像处理中，这种掩模为二维数组的矩阵，或者是多值图像。

在数字图像处理中，图像掩模的用途主要为：①提取感兴趣的区域;②屏蔽不感兴趣的区域;③提取感兴趣的结构特征;④制作特殊形状的图像。

对车牌颜色特征区域的掩模有利于车牌特征的提取，操作后如图8所示。

（3）将图像进行灰度化操作，接下来利用高斯模糊将图片平滑化，去除干扰的噪声对后续图像处理的影响。

灰度化操作是将正常图像去除彩色信息，只留下亮度信息的处理过程，处理完成后得到灰度图像，此时图像中只包含亮度信息。

高斯模糊的操作其实是图像模糊操作的一种，作为图像模糊滤波器之一，用正态分布函数逐个计算图像中的每一个像素并处理，其二维空间的正态分布方程为：

G（u，v）=12πσ2e-（u2+v2）2σ2。

式中：σ是正态分布的标准差;μ和ν为二维空间的位置坐标。

经过灰度化和高斯模糊操作后的图像如图9和图10所示。

（4）使用Sobel算子对车牌图像进行水平方向上的边缘检测。

Sobel算子是离散微分算子，为了计算图像灰度函数的近似梯度，采用了高斯平滑和微分求导。与Prewitt算子不同的是，Sobel算子将像素位置影响算进加权，可以减少边缘的模糊程度，达到了较好的效果。Sobel算子以其滤波算子的一种形式，提取边缘并可以使用快速卷积函数，简单而又有效的方式使其应用广泛[19]。

对图片进行Sobel算子检测后，如图11所示。

（5）调节二值化阈值（THRESH_BINARY），弱化背景，对图像中适合的矩形区域进行闭操作，闭操作可以将目标区域连成一个整体，便于后续轮廓的提取。

图像的灰度值为0和255，分别对应黑和白，通过调节二值化的阈值（0～255），能够有效地凸显图像的局部特征，得到有用的二值化图像。

闭操作是将图像中的图形尽可能地连接在一起，形成较大的区域，消除小的点和线，消除断裂现象[20-21]。闭操作的运算过程如下：

A·B=（AB）B。

这个公式表示B对A进行了闭操作，其过程为右侧，先用B对A进行膨胀，然后用B对所得结果进行腐蚀。

对图像进行二值化阈值调节操作和闭操作，如图12和图13所示。

（6）查找并筛选符合条件的矩形区域，并绘制绿色矩形框。

该过程首先计算得到图像所有轮廓的面积，然后忽略面积小的区域，将得到的区域转换成最小矩形区，计算该区域的宽和高，筛选出符合一定长宽比范围的矩形区，并加入集合，最后缩小范围，找出最有可能是车牌的位置，并绘制绿色矩形框，最后结果如图14所示。

3 实验流程及结果

3.1 实验流程

（1）收集雾雨雪天气的车牌数据集

经过本项目组的实地考察，林区内车辆稀少且未经允许不能私自进入，故深入林区内获取车牌数据集异常困难。综合考虑，作为项目的第一步，为了测试融合CLAHE的车牌检测算法的有效性，本文从XU等[22]发布的大型车牌数据集CCPD（Chinese City Parking Dataset）中挑选了普通車牌图片150张、雾雨雪车牌图片150张，每张图片的像素为720×1 160。普通车牌样本如图15所示，雾雨雪车牌样本如图16所示。

（2）融入CLAHE的车牌定位算法

本文实现的车牌检测算法流程如图17所示。

3.2 实验结果

车牌检测方法准确率的对比见表1。

上述实验中，以绿框中包含车牌的全部区域才算检测成功，由此可以发现，融合CLAHE去雾处理后的车牌检测准确率有了较大的提升，比普通车牌检测算法的效果要好。但是增加了算法之后，检测图像中车牌的耗时略微有点增加。

4 结束语

本文采用限定对比度自适应直方图均衡化的去雾方法，车牌图像的对比度和可检测度得到明显的提高，雾雨雪天气下的车牌检测准确率达到了88.00%，该实验初步证实了提高林区雾雨雪天气下车牌检测准确率的可行性，后期将进一步对林区的车牌数据集收集，完善本文的实验，将本文研究的内容全面应用到林区的车牌检测中，从而解决林区的监管及防盗伐。

【参 考 文 献】

[1]丁键， 朱洪前. 基于CNN多标签分类的林区车牌识别研究[J]. 现代信息科技， 2020， 4（12）： 84-87.

DING J， ZHU H Q. Study on license plate recognition in forest area based on CNN multi-label classification[J]. Modern Information Technology， 2020， 4（12）： 84-87.

[2]韩祥程， 侯卫萍， 刘霞. 林区车辆监控系统车载终端的研究[J]. 森林工程， 2014， 30（5）： 150-153.

HAN X C， HOU W P， LIU X. Research on terminal platform of forest vehicle monitoring system[J]. Forest Engineering， 2014， 30（5）： 150-153.

[3]王楠楠. 车牌定位及倾斜矫正方法研究[J]. 工业控制计算机， 2014， 27（11）： 25-26.

WANG N N. License plate location and slant correction algorithm[J]. Industrial Control Computer， 2014， 27（11）： 25-26.

[4]鞠丽丽， 王英. 基于暗原色先验的雾天图像车牌定位[J]. 工业控制计算机， 2016， 29（3）： 46-47.

JU L L， WANG Y. License plate location based on dark channel prior in fog-degraded images[J]. Industrial Control Computer， 2016， 29（3）： 46-47.

[5]赵伟， 赵嘉宁. 加油站复杂环境下车牌定位算法研究[J]. 森林工程， 2015， 31（3）： 141-145.

ZHAO W， ZHAO J N. Research on the algorithm of license plate localization in gas station with complicated environment[J]. Forest Engineering， 2015， 31（3）： 141-145.

[6]孙春凤， 袁峰. 等面积递归分解的部分重叠局部直方图均衡[J]. 光学精密工程， 2009， 17（9）： 2292-2300.

SUN C F， YUAN F. Partially overlapped sub-block histogram equalization based on recursive equal area separateness[J]. Optics and Precision Engineering， 2009， 17（9）： 2292-2300.

[7]WANG Y， PAN Z B. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology， 2017， 86： 59-65.

[8]KIM T K， PAIK J K， KANG B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics， 1998， 44（1）： 82-87.

[9]WANG Q， WARD R K. Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）： 757-764.

[10]乔闹生. 一种改进的直方图均衡化[J]. 光学技术， 2008， 34（S1）： 141-142.

QIAO N S. An improved histogram equalization[J]. Optical Technique， 2008， 34（S1）： 141-142.

[11]楊骥， 杨亚东， 梅雪， 等. 基于改进的限制对比度自适应直方图的视频快速去雾算法[J]. 计算机工程与设计， 2015， 36（1）： 221-226.

YANG J， YANG Y D， MEI X， et al. Fast video dehazing based on improved contrast limited adaptive histogram equalization[J]. Computer Engineering and Design， 2015， 36（1）： 221-226.

[12]刘振宇， 江海蓉， 徐鹤文. 极端天气条件下低质图像增强算法研究[J]. 计算机工程与应用， 2017， 53（8）： 193-198.

LIU Z Y， JIANG H R， XU H W. Low-quality image enhancement algorithms in extreme weather conditions[J]. Computer Engineering and Applications， 2017， 53（8）： 193-198.

[13]PIZER S M， JOHNSTON R E， ERICKSEN J P， et al. Contrast-limited adaptive histogram equalization： speed and effectiveness[C]// Proceedings of the First Conference on Visualization in Biomedical Computing. May 22-25， 1990， Atlanta， GA， USA. IEEE， 1990： 337-345.

[14]陶佩， 付青青， 吴爱平. 一种限制对比度的快速POSHE图像增强算法[J]. 长江大学学报（自然科学版）， 2020， 17（2）： 104-111.

TAO P， FU Q Q， WU A P.A fast POSHE image enhancement algorithm with limited contrast [J]. Journal of Yangtze University （Natural Science Edition）， 2020， 17（2）： 104-111.

[15]馮创意， 张纯纯. 基于双边引导上采样的图像增强快速实现研究[J]. 农业装备与车辆工程， 2020， 58（2）： 155-160.

FENG C Y， ZHANG C C. Fast implementation of image enhancement based on bilateral guided upsampling[J]. Agricultural Equipment & Vehicle Engineering， 2020， 58（2）： 155-160.

[16]黎秀玉， 宋树祥， 夏海英. 基于CLAHE和图像分解的去雾方法[J]. 广西大学学报（自然科学版）， 2016， 41（5）： 1552-1559.

LI X Y， SONG S X， XIA H Y. Single image dehazing method based on CLAHE and image decomposition[J]. Journal of Guangxi University （Natural Science Edition）， 2016， 41（5）： 1552-1559.

[17]张丽. 对比度受限自适应直方图均衡方法[J]. 电脑知识与技术， 2010， 6（9）： 2238-2241.

ZHANG L. Contrast limited adaptive histogram equalization[J]. Computer Knowledge and Technology， 2010， 6（9）： 2238-2241.

[18]王芳.基于图像配准的新媒体视觉影像超分辨率重建方法[J].自动化技术与应用，2021，40（4）：99-102.

WANG F. Superresolution reconstruction method of new media visual images based on image registration[J]. Techniques of Automation and Applications， 2021， 40（4）：99-102.

[19]曾泉. 复杂背景下基于OpenCV的车牌识别系统研究[D]. 广州： 广东工业大学， 2016.

ZENG Q. Research on license plate recognition system based on OpenCV under complex background[D]. Guangzhou： Guangdong University of Technology， 2016.

[20]潘奕创， 傅惠南， 彭赶， 等. 激光辅助机器视觉测量两平面高度差的设计[J]. 机电工程技术， 2018， 47（4）： 20-23.

PAN Y C， FU H N， PENG G， et al. Laser assisted machine vision measuring two plane height difference design[J]. Mechanical & Electrical Engineering Technology， 2018， 47（4）： 20-23.

[21]张广云.一种激光图像边缘检测方法的研究[J].自动化技术与应用，2020，39（5）：84-87.

ZHANG G Y. Research on a laser image edge detection method[J]. Techniques of Automation and Applications， 2020， 39（5）：84-87.

[22]XU Z B， YANG W， MENG A， et al. Towards end-to-end license plate detection and recognition： a large dataset and baseline[C]// European Conference on Computer Vision. Springer， Cham， 2018.