基于形态学和surf特征的车牌定位算法研究*

2013-09-17钱盛友赵新民

通信技术 2013年2期

赵亮，钱盛友，赵新民

(湖南师范大学物理与信息科学学院，湖南长沙 410081)

0 引言

车牌识别技术是现代智能交通系统中的核心技术，广泛应用于道路监测、路桥收费及其他无人管理的自动交通系统中。它主要包括车牌定位、字符分割和字符识别环节，而车牌定位是车牌识别技术最关键步骤，是后续能否实现高效识别的前提。多年来人们对此进行了大量研究，取得很多成果。车牌定位算法主要有：①基于车牌底色的方法[1-2]；②基于车牌纹理的方法[3-4]；③基于综合特征的方法[5]；④基于字符边缘颜色对的方法[6]。方法1～2均是利用车牌单一特征，在相近颜色和复杂纹理时定位较难。方法3～4综合颜色纹理特征，效果比方法1～2好。所有算法都是针对特定场合而设计的。而通过车牌字符特征定位在一定程度上是对上述算法缺陷的一种完善。文献[7]提出一种基于车牌字符Haar特征和级联神经网络算法的定位算法，文献[8]采用一种sift字符特征匹配算法。文献[9]指纹识别中采用的是特征匹配方法。文中将在此基本思想上采用新的匹配算法实现车牌精确定位。

1 基本理论

1.1 数学形态学边缘检测原理

数学形态学是一门建立在严格数学理论基础上的新兴科学。它的基本运算包括膨胀(⊕)、腐蚀(Θ)、开运算(°)和闭运算(·)。基于形态学运算的边缘检测算子有：

熊哲源[10]等人提出一种改进的抗噪膨胀型算子，产生了较好边缘效果，而实验证明式(4)边缘效果更好。

式中，edge(f)为输出边缘图像，B为结构元素。

1.2 SURF特征匹配

SURF(Speeded-Up Robust Features)是在SIFT算法基础上提出的一种快速鲁棒特征提取的配准算法。算法过程应用的方法与 sift不同，它引进了积分图与Hessian矩阵等策略，提高了实时性能。Surf算法步骤[11]包括特征点检测、描述和匹配。

1.2.1 特征点检测

特征点检测步骤如下：（1）积分图像的建立积分图每点 P(x,y)表示原图像从原点到该点矩形区域的像素和。数学表达为：

式中， (,)I i j表示原始图像对应(i,j)坐标的像素值，为对应坐标的积分图。运算方法见文献[11]。

（2）方框滤波器建立尺度空间

为保证图像配准具有尺度不变性，需要对图像进行分层，建立尺度空间，在不同尺度图像上找特征点。它的建立不改变原图像大小，而通过改变滤波器大小对原图像的积分图进行滤波，得到图像尺度空间。

（3）特征点定位

在尺度空间的每层图像上使用快速 Hessian矩阵来检测图像的极值点。Hessian 矩阵定义如下：

式中，(x,y)表示空间中任意点，σ表示对应尺度空间尺度，Lxx、Lxy、Lyy是图像上点与高斯滤波二阶偏导卷积结果，其中高斯函数定义为并采用方框滤波器与原输入图像卷积Dxx、Dxy、Dyy来替代 Lxx、Lxy、Lyy。把 9× 9 的初始方框滤波器与σ等于1.2的二阶高斯偏导近似。该行列式计算可近似为：

式中，w为权重系数[11]，取值0.9。仅当Det(Hessian)大于设定阈值时才进行下步判定。再对该点上下层对应 3×3×3立体邻域进行非极大值抑制，仅比立体近邻内26个响应值都大的点才定为特征点。最后对尺度空间进行插值处理得到精准位置。

1.2.2 特征点描述

（1）主方向的确定

主方向的计算是在6s(s为尺度)半径圆形域内用一圆心角为 π/3扇形以特征点为中心绕一周，计算扇形处于各角度时它所包含像素点在x、y方向Harr小波响应和。选择最长矢量方向作为特征点主方向。

（2）描述子生成

以测得的特征点为中心，选取该点邻域内20s×20s大小区域，将区域主方向旋转到特征点主方向。再将区域分为5s×5s大小的16个子区域。通过统计各子区域像素点在X、Y方向的尺度为2s的harr小波值dx和dy，并以特征点为中心对dx、dy进行高斯加权(σ=3.3s)。计算区域内所有像素点响应值和，得到∑dx、∑dy、∑|dx|、∑|dy|。然后将各子区域向量加入特征向量形成64(4×16)维特征向量。最后对描述子进行归一化处理使之具有亮度和尺度不变性。

1.2.3 特征点匹配

通过计算两点间欧式距离来进行特征匹配。设待测图像特征向量为 V={∑dx、∑dy、∑|dx|、∑|dy|}，参考图像特征向量为 V，={∑dx，、∑dy，、∑|dx，|、∑|dy，|}，如果V和V，之间欧氏距离少于0.7倍的次近距离，定位匹配对。配准点对越少，配准更稳定。

在得到一定量最佳匹配点对后进行图像变换参数的计算，设参考图像提取的特征点坐标为(x11,y11),(x12,y12),…,(x1p,y1p)( 3p≥ )，目标图像中对应特征点坐标为(x21,y21),(x22,y22),…,(x2p,y2p)，假设图像间空间变换模型为全局放射变换：

将式（8）记作A=M×B，式中A、B为已知，则可求出M，故得到参数值(a00, a01, tx,a10, a11, ty)。再通过放射变换参数转换到参考坐标系从而得到矫正的目标图像。

2 车牌定位算法

2.1 定位算法步骤

1) HSV 空间是一种比较均匀的颜色空间并且满足人视觉一致性。先将RGB图像转换到HSV图像。根据色调H阈值对车牌图进行二值化处理。

2) 对二值图采用式(4)改进的二值形态学算子进行边缘检测，得到边缘图。

3) 对边缘图采用积分图法进行边缘去噪，再形态学连通处理得到若干连通区域，并分割出对应的灰度区域。

4) 采用 surf图像配准算法进行车牌精确定位和倾斜校正，并用投影法去除铆钉。

2.2 车牌粗定位

2.2.1 彩色边缘检测

以蓝色车牌为例，根据统计分量H、S、V阈值进行二值化处理，再用式(4)提取边缘，算子采用大小为3的方形结构元素。

通过实验仿真图1可知，此方法与传统算法相比，改进形态学算子在边缘检测中有明显优势，解决了边缘检测精度与抗噪声性能的协调问题。

图1 文中边缘检测效果

2.2.2 边缘去噪及数学形态学处理

根据车牌区域边缘相对较集中的特点，设置边缘密度阈值遍历去噪。此处运用积分图法进行矩形窗密度计算。先按式(5)计算边缘积分图，再滑动窗口遍历图像，去除计算窗口内边缘点数小于所设阈值的点。边缘去噪及膨胀连通处理的图像为图2所示。

图2 边缘去噪及连通处理

很明显背景中的蓝白提示牌成为干扰区域。通过连通区域标记分割出候选区域，为下一步精确定位作好准备。

2.3 车牌精确定位与倾斜校正

基于surf特征的图像配准，要求目标图像纹理比较复杂，能得出较多的有效特征点，而我国车牌汉字笔画多结构复杂并位置相对固定，通过对其进行surf特征分析，能得到较多鲁棒性强的特征点。因此文中将选择车牌首汉字作为对象与车牌标准汉字库的特征点进行匹配。

2.3.1 精确定位基本步骤

候选车牌区域匹配流程如图3所示。

图3 候选车牌区域匹配流程

2.3.2 实验结果分析

测试平台的硬件环境为：CPU:Inter Core i3-370，主频2.4 GHz，内存2G，操作系统：windows 7，软件为matlab7.0。根据上述算法步骤，对不同条件下拍摄的车牌图像应用文中方法, 得到的车牌定位与及校正图效果如下所示。图4为标准汉子与车牌区域的特征点对应关系，每条线代表一对匹配点。图5就是最终的车牌定位结果，对铆钉的去除文中采用的投影法求取，先对已配准车牌二值化处理，字符置一背景置零，根据字符区域白点密集而边框及铆钉区域相对稀疏的特征，在水平、垂直方向分别进行投影并统计白点数，然后根据经验阈值对少于设定对应阈值的背景行列置零，从而得出最终车牌如图5所示。

图4 匹配特征点对

图5 最终定位车牌

为验证文中算法有效性，选取①425×119、②800×600、③ 1024×768等3组尺寸的车牌图像各100幅进行定位测试，为验证文中算法(方法一)的实时性，同时采用 sift算法(方法二)对比文中方法中surf算法对候选车牌进行定位，定位成功率及平均定位时间如表1所示。图6为部分测试图像及结果。图 6(a)和图 6(b)不同条件下的输入图像，图 6(c)和图6(d)为各输入对应的输出图像。

表1 两种不同定位算法的定位结果比较

从表1可以看出，两种算法都有较高定位成功率，而surf算法更具实时性。车牌图像大小对定位成功率和平均定位时间有一定影响，车牌愈小，得到的特征点数愈小耗时相对较小；车牌愈大则能检测到的特征点愈多耗时比较长。没有定位出的车牌主要是因为车牌模糊及车身车牌颜色相似等原因。另外，特征向量维数也是决定算法时间的关键因素。