刘华春，侯向宁

(成都理工大学 工程技术学院 电子信息与计算机工程学院，四川 乐山 614007)

0 引 言

车牌识别在道路收费管理，超速违规，电子警察，停车场管理，交通数据采集等交通信息控制中发挥着重要作用。通常的车牌识别系统包括车牌定位模块、车牌校正和预处理模块、字符分割模块、字符识别模块。文中重点研究车牌定位部分。

目前常用的车牌定位算法包括基于颜色特征算法、基于边缘特征算法和机器学习方法[1-2]。基于颜色特征的算法通过匹配车牌字符颜色和背景之间的关系获取车牌边缘位置，在照明条件经常变化或车牌污染、褪色等情况下，定位效果较差，因此该方法更适用于较好的环境条件或与其他方法相结合。基于边缘特征算法是检测车牌字符投影形成的边缘特征，从而确定车牌位置，当车牌字符由于长久使用而断裂、模糊，或雨天等复杂场景的干扰时，该方法不能很好地适用。基于机器学习是从大量图像中学习车牌特征模型，然后扫描车辆图像确定车牌位置，缺点是需要对车辆图像全部区域进行扫描检测，提取多种复杂的特征，定位也需要较长时间[3-4]。

这些算法除了需要较大的计算量外，还存在车牌区域定位错误，鲁棒性不强，对环境条件要求高等缺点。

近年来，神经科学研究人员发现，人类视觉具有快速搜索感兴趣目标的能力，这种视觉注意的能力被称为视觉显著性(visual saliency)。视觉显著性图像区域的检测可以快速准确地将有限的处理资源分配给重要的显著性区域，突出图像中的重要目标，并减弱周围场景对目标的影响。将这种视觉显著性引入车牌位置，可以快速定位车牌的候选区域，大大减少了扫描车辆全图的时间，也减少了背景的干扰[5-7]。

卷积神经网络是神经网络的发展，是一类特定的机器学习方法，也是实现人工智能的方法之一。卷积神经网络是一种广受关注的深度学习方法，广泛应用于手写数字识别、人脸识别等图像领域，取得了良好的效果[8-9]。

文中将视觉显著性和卷积神经网络相结合，提出一种有效的车牌定位方法。

1 基于视觉显著性的车牌候选区域提取

视觉注意机制(visual attention mechanism，VAM)，研究表明当人在关注一个场景时，会很自然地忽略无显著特征的区域，而对具有显著特征的区域进行特别关注，这些具有显著特征的区域被称之为显著性区域。视觉显著性检测(visual saliency detection，VSD)是指通过算法来模拟实现人的视觉注意机制，提取图像中的显著性区域[9]。

1.1 显著性模型

目前，学者已提出多种视觉显著性模型，文中使用自下而上的模型，结构如图1所示[10]。输入为通过图像采集设备获取的彩色图像。对于一幅输入图像，该模型提取初级视觉特征：颜色(RGBY)、亮度和方位。在多种尺度下使用中央-周边运算操作产生单一特征的特征图，将这些特征图合并得到最终的显著图。然后，采用赢者取全的竞争策略，就形成了图像中的最显著的位置坐标,并根据该位置来确定显著性区域的选取，最后采用返回抑制的方法来完成注意焦点的转移。

图1 显著性检测模型

将视觉注意机制引入车牌定位过程，采用自下而上的模型，提取出车辆图像中具有显著特征的车牌区域作下一阶段的处理，其算法步骤如下。

1.2 算法步骤

1.2.1 基本特征提取

提取车辆图像的亮度特征、颜色特征和方向特征。不同的特征表示不可比较的先验信息，其动态范围和提取方法都不同。

亮度特征提取：用r、g、b分别表示图像红、绿、蓝三个通道的值，因此亮度特征I可以通过式1获得。由于输入图片是9个尺度的高斯金字塔图片，所以I也对应于9个尺度高斯金字塔亮度图[11]。

(1)

颜色特征提取：分别从r、g、b通道采用亮度I进行归一化后，从这些颜色通道中产生R、G、B、Y四个颜色。由于中国车牌大部分是蓝白，黄黑，文中也只研究这类车牌，所以只选择蓝色和黄色作为颜色特征，如式2。

(2)

方向特征提取：在通常情况下，车牌信息最清楚的方向是0°，90°，所以车牌图像只在0°和90°方向采用Gabor滤波器对亮度特征进行滤波，得到方向特征O(θ)，θ∈{0°，90°}。

1.2.2 计算特征显著图

显著图的每个位置采用一个向量表示，通过向量的空间分布表示图像中局部区域的醒目程度，用以指引注意位置的选择。

在前一步中，已经获得了颜色、亮度和方向的单一特征。然后，由各类特征分别构造高斯金字塔，并且根据式3在中心-边缘操作之后获得特征的显著图。

(3)

其中，c,s表示高斯金字塔不同层图，小尺度图包含更多中心局部信息，用C表示；大尺度图包含更多背景信息，表示周围图像，用S表示。例如，BY(c,s)表示显著图是通过色彩通道的c层图和s层图的中心-边缘差异获得的。N(*)表示归一化运算，在形成特征图时，一些表现很强的显著目标可能被其他特征的噪声或非显著信息掩盖，所以，需要采用归一化算子N(*)，用以提升那些对醒目位置有较高影响的特征，抑制那些包含大量可比峰值响应的特征，即邻域中相似的特征相互抑制。

通过高斯金字塔的跨尺度处理，特征被结合成3类特征显著图，I表示灰度，C表示颜色，O表示方向。特征显著图经过归一化后，作为视觉显著性图的输入。

1.2.3 显著图的融合

三类特征显著图线性组合形成视觉显著图，由S表示。由于三类特征的强度在车牌区域的显著性图中的贡献是不同的，所以三类特征显著图线性组合的系数应当不相同。由于车牌的颜色和周围颜色的不连续性，颜色特征是最重要的。方向特征是第二重要的，因为几乎所有的车牌0°和90°方向全然不同。亮度特征贡献最小。实验表明，最好的效果是当颜色、方向、亮度系数分别为0.65,0.2,0.15时。所以车辆视觉显著图可以表示为：

S=0.65*C+0.2*O+0.15*I

(4)

车辆视觉显著图是对车辆中突出特征的数据反映，注意焦点在视觉显著图的引导下定位到显著位置，并在图像中跳转。通过赢者取全的策略，使得注意焦点自动跳转到最显著特征所表示的位置。如果车辆视觉显著图中有多个显著度相同的显著点位置时，将采用格式塔(Gestalt)原理中的“相近性法则”(Proximity)调转到离上一次注意焦点最近的显著点位置[11]。

视觉显著性图中向量最大值的位置就是最显著的中心位置，即为车牌的位置，或与车牌特征非常相似的车上招牌的位置，或其他有显著特征的位置，为注意机制的焦点。

通过上述算法步骤，就可将候选车牌区域在车辆图形中定位并提取出来。

2 基于AlexNet卷积网络的车牌区域分类

车牌候选区域经过视觉显著性算法处理后,生成候选车牌区域的视觉显著图。视觉显著性算法能够快速地定位车牌区域，但当车上有与车牌颜色、大小相似的招牌或其他显著特征时,如果单一采用视觉显著性方法很难将其区分出来。因此，需要采用能够精准识别车牌与非车牌的技术，文中采用AlexNet卷积神经网络来完成此任务。

卷积神经网络(convolution neural network，CNN)是采用卷积运算进行特征提取的一类深度神经网络，是神经网络的发展。CNN由于采用局部连接和权值共享，保持了网络的深层结构，同时又大大减少了网络参数，使模型具有良好的泛化能力，又较容易训练，很好地解决了神经网络中网络训练时的梯度消失(vanishing gradient problem)和梯度爆炸(exploding gradient problem)等问题。因此，CNN是一种采用多层网络结构的具有鲁棒性的深度学习方法[12-13]。

AlexNet卷积神经网络：AlexNet是用于图像识别领域的卷积神经网络的经典模型。车牌区域的识别采用改进的AlexNet卷积网络来完成。文中采用Tensorflow框架实现AlexNet网络。

(1)AlexNet网络模型。

AlexNet网络模型由8层网络组成，前5层为卷积层，后3层为全连接层。没有任何预处理的256×256分辨率RGB彩色图作为输入，经过8层的映射处理，最后的输出为1 000个类别的置信度[14]。

(2)AlexNet改进和模型训练。

由于AlexNet的网络输出是1 000个类别，但候选车牌类别是3个，所以网络需要改进。将AlexNet的输出神经元从1 000减少到3，表示3个类别的置信度。[1,0,0]代表蓝色牌照，[0,1,0]代表黄色牌照，[0,0,1]代表非牌照。

经视觉显著性算法处理后，共获得了10 320个候选区域作为数据集，其中包括3 520个蓝色车牌，3 450个黄色车牌和3 350个非车牌。随机选择70%的数据作为训练数据，其余30%作为测试数据。从数据集合中分别得到256×256的图像，并分别绑定到类别标签上，作为改进的AlexNet分类器的输入数据。

用随机梯度下降法对分类器进行训练，在[-0.05,0.05]中随机选择训练权参数的初始值，另外选择交叉熵损失函数作为目标函数。如式5所示，其中(xi，yi)是样本图像和相应的标签。训练的目的是使函数输出最小，最大迭代次数设为1×105次。

E=-∑p(xi)log(xi|yi)

(5)

3 实 验

3.1 车牌定位算法框架

车牌定位算法框架如图2所示。

图2 车牌定位算法框架

算法分为2个阶段，第1阶段采用视觉显著性算法从车辆图像中提取候选车牌区域，第2阶段采用改进的AlexNet卷积神经网络用来识别牌照类别，对蓝，黄，非车牌进行分类。最后输出车牌图像。

3.2 实验结果和性能分析

3.2.1 视觉显著性检测性能

视觉显著性算法中，选取5 000张车辆图像进行车牌候选区域的提取，测试结果如表1所示。产生显著性区域数为7 100个，平均每张车辆图像产生1.42(显著性区域数/车牌目标数)个显著性区域。显著区域中车牌率为70.08%(4 976/7 100)。漏检率=1-显著区域包含车牌数/车牌目标数=0.48%。

表1 车牌显著性算法测试结果

3.2.2 候选车牌分类性能

车牌候选区域分类中，对于AlexNet分类器的性能测试如表2所示。

表2 AlexNet分类器性能测试

采用训练AlexNet网络保留的30%数据，即3 096个测试样本，包含蓝色车牌1 056个，黄色车牌1 035个，非车牌1 005个，分类器正确率达99.839%。采用显著性区域的7 100个图像进行测试，包括车牌区域与非车牌区域图像，车牌正确分类率99.831%。可以看出，AlexNet卷积网络具有良好的识别性能，完全满足了预期的要求。ILSVRC-2012的结果也表明，AlexNet模型的图像分类性能远远优于传统的分类器。

3.2.3 车牌定位性能

将5 000张车辆图像采用文中算法和传统的基于数字图像方法进行比较，传统方法参考文献[3-4]，主要思想是采用颜色特征与边缘特征来定位车牌。实验结果如表3所示。可以看出，文中算法的定位成功率比基于数字图像定位算法提高约5%。

表3 定位算法比较测试

在时间性能方面，由于采用视觉显著性算法来提取候选区域，减少了AlexNet分类器全面扫描的时间。文中的卷积神经网络分类是在CPU上进行，实际部署时，若采用GPU加速，分类器时间性能会进一步提升。

3.2.4 漏检分析

从未能正确定位车牌的车辆图像分析，主要原因为光照条件太差，颜色特征、亮度特征很难被有效提取出来。其次，部分车牌在图像中位置太小，在特征图中不在最显著位置，显著性算法未能将其提取出来。

4 结束语

在车牌识别系统中，车牌在车辆图像中的定位和提取是重要的一步。使用视觉显著性算法提取车牌候选区域，然后使用AlexNet卷积网络进行车牌区域的分类是一种有效的车牌定位方法。采用视觉显著性算法可以快速定位车牌区域，避免了在车辆图像的各个区域扫描；使用AlexNet分类器具有更好的分类准确率，两者结合构成了高效、准确的车牌定位方法。

经过实验测试，结果表明该方法具有优良的性能，定位精度比图像处理技术高出5%左右，在车牌定位中具有良好的应用前景。接下来将进一步研究提高定位算法时间性能的方法。