张　军　孙文本　杨正瓴

(天津大学电气与自动化工程学院　天津 300072)



基于轮廓矩和Harris角点混合特征的车型识别系统

张军孙文本杨正瓴

(天津大学电气与自动化工程学院天津 300072)

摘要针对某些简易快速车辆识别系统只能得到有限的车辆轮廓信息，增加了车型识别的难度的情况，提出一种基于混合轮廓特征的车型识别的新方法。首先根据车型识别系统获取尽可能精确的车辆轮廓，在经过简单的预分类之后分别提取出车型轮廓的七个轮廓矩不变量和有最强表征作用的Harris角点特征；进而进行特征级融合，将这两种特征融合构成混合特征；将融合后的新特征输入到RBF神经网络进行训练识别。实验结果表明在保证了较快识别速度的同时，有效地提高了识别率。

关键词车型识别轮廓矩Harris角点特征融合RBF神经网络

VEHICLE RECOGNITION SYSTEM BASED ON MIXING CHARACTERISTICS OF CONTOUR MOMENT AND HARRIS CORNER

Zhang JunSun WenbenYang Zhengling

(School of Electrical and Automation Engineering,Tianjin University,Tianjin 300072,China)

AbstractAiming at the situation that some simple and fast vehicle recognition systems can only get limited information of vehicles’ profiles and this increases the difficulty in vehicle recognition, we proposed a new mixed contour feature-based vehicles type recognition method. First, we obtained vehicles profiles as accurate as possible according to vehicle type recognition system. After simply pre-classifying them we extracted 7 contour moment invariants and the Harris corner features with strongest characterisation role from vehicles profiles. And then we conducted the feature-level fusion to fuse and compose these two features to the mixed feature. We inputted the new fused feature into RBF neural network for recognition training, experimental result showed that this method improved the recognition rate effectively while ensuring the rapid recognition speed.

KeywordsVehicle type identificationContour momentHarris cornersFeatures fusionRBF-neural network

0引言

智能交通系统[1](ITS)是将通信技术、传感技术、控制技术等众多先进技术集成运用于交通体系，而建立的一种实时、准确、高效的综合交通管理系统。车辆识别作为智能交通系统的重要分支，近年来一直很受重视，同时也获得了很大的发展，同时很多车型识别方法也取得了较好的识别效果。地磁感应线圈法[2]，红外线探测法[3]，动态压电检测法[4]，视频图像检测法[5]等，各有各的优点和适用环境，也各有各的不足之处。

现有车辆识别技术大多是采集车辆的外形信息，得到外围轮廓，主要利用车辆的轮廓特征进行识别，由于车辆的多样化及其姿态在图像中的变化，车辆识别的准确性和实时性很难达到较高的应用要求。

不变矩理论一直是模式识别中的重要内容。常用的基于区域的矩不变理论最早由Hu提出[6]，其提出了由标准化中心距多项式组成的七个不变矩。不变矩由于具备平移、缩放以及旋转不变性等重要特性，故而在模式识别领域获得了不断的发展与广泛的应用。轮廓矩是基于不变矩理论精简发展而来，更加适合轮廓特征的分析。虽然轮廓矩对目标轮廓描述准确, 充分，但是对其局部变化的分辨能力有限,对具有相近轮廓的车型区分能力差，而且由于其缩放不变性，会失去对车辆大小的分辨能力。

Harris角点[7]操作简单，提取特征均匀，对灰度变化、噪声不敏感，利用Harris角点识别车型的方法，可以减少计算量，使实时性得到保证，但只能识别少量几种车型。

针对这种情况, 本文提出一种基于轮廓矩和Harris角点的混合特征构建方法，用于车型的识别。实验证明，混合特征克服了轮廓矩和Harris角点单独使用时一些的缺点,它在保证了识别速度的同时使得识别率也有所提升。

1基于轮廓矩和Harris角点的特征提取方法

1.1车型识别系统

目前国内外对车辆类型自动识别的方法有很多，很多识别系统都能得到车辆的轮廓图像。例如视频图像，红外检测，激光检测等，都能得到车辆的轮廓信息，虽然得到的轮廓信息的准确度和信息丰富程度不一样，但是都能借此判断出大致的车型。其中，车辆上空激光检测只能得到车辆的侧部轮廓信息，而且侧视轮廓信息只包含顶部轮廓，信息丰富程度要少很多，因此依据其进行的车型判定难度便更高。本文便采用此车型识别系统进行分析。系统流程如图1所示。

图1　系统流程图

图2　采样车辆的外部轮廓

采样车辆取了外形比较普通的长城哈弗。图2为采样车辆的外部轮廓。在车辆中低速平稳行驶的时候，激光雷达工作会比较稳定，由激光所测得的时序点和雷达所测得的车速信息可以得到比较准确的顶部轮廓信息。如图3(a)所示，为所测得的车辆顶部轮廓，从图中可以看出车辆的轮廓信息得到的还是比较准确的，但是有很多检测为零的误点。这些误点是由于激光发射出来的信号在一些情况下丢失了，激光接收器没有接收到反射回来的信号。在这种情况下，我们将这些点设为零值，这些数据在应用之前要进行适当的处理。还有一些误点与周围信号偏差过大，是某些信号被反射走后，经过多次的反射后返回接收器。在本实验中是通过差值的方式将误点去除，补充到正常的信号中去。图3(b)为处理后得到的图像。

图3　由激光和雷达测得的轮廓点及其处理后的顶部轮廓图像

由图3可知，完整的车辆侧视轮廓比由单纯的顶部高度序列所得的侧视轮廓有着更加丰富的特征信息。只有上部轮廓相同，两侧轮廓有着些许差距。但是完整的车辆侧视轮廓的底部轮廓有着车辆的轮距、地盘高度等等重要的判别特征。

1.2车型的预分类

由于不变矩的特性，通过轮廓线的不变矩基本不能区分大小车型；比如具有同样方形轮廓的小客和大型客车，用不变矩反而不能区分。虽然Harris角点在一定程度上能够补足这个缺陷，为尽可能地提高判别精度，本文采用预分类的方式提前排除此问题。预处理过程需同时兼顾简易快速性和基本的车辆大小判别，文中只采用车辆长度信息将车型先限定在一定范围内，如表1所示。

表1　各车型车长限定

1.3轮廓矩

不变矩理论对图像有着极佳的分析效果，例如模型分类、模式识别等领域。矩不变量是基于区域的，导致其计算量大，运算时间长，对某些实时性要求较高的工程环境的应用有着局限性。为了使矩特征适应于轮廓特征分析，简化计算过程，节省运算时间，提高实时性，将对区域的积分变换为对曲线的积分，得：

(1)

(2)

其中，零阶矩阵m0,0是曲线C的弧长。(p+q)阶中心距为：

(3)

一阶矩表示轮廓的质心，二阶矩又叫惯性矩，表示轮廓的大小和方向。一阶矩与形状有关，二阶矩表示曲线围绕直线平均值的扩展程度，三阶矩则是对于平均值的对称性的衡量。一阶矩没有太强的应用价值，由二阶矩和三阶矩总共可以导出七个轮廓不变矩μ1、μ2、μ3、μ4、μ5、μ6、μ7。这些矩不变量可以作为轮廓特征，用于目标的分析识别。

μ1=μ20+μ02

(4)

μ2=(μ20-μ02)2+4μ11

(5)

μ3=(μ30-3μ12)2+(3μ12-μ03)2

(6)

μ4=(μ30+μ12)2+(μ21+μ03)2

(7)

μ5=(μ30-3μ12)(μ30+μ12)×[(μ30+μ12)2-

3(μ21+μ03)]+(3μ21-μ03)×(μ21+

μ03)[3(μ30+μ12)2-(μ21+μ03))]

(8)

μ6=(μ20-μ02)[(μ30+μ12)2-(μ21+μ03)2]+

4μ11(μ30+μ12)(μ21+μ03)

(9)

μ7=(3μ21-μ03)(μ30+μ12)[(μ30+μ12)2-

(μ21+μ03)2]-(μ30-3μ12)(μ21+

μ03)[3(μ30+μ12)2-(μ21+μ03)2]

(10)

根据天津地区公路收费特点，预先定义的六种车型，其轮廓矩取样示例如表2所示。由表中数据可以看出不同车型的矩值有着较大差距，矩值对车辆的外形有着明显的表征作用。

表2　各车型取样车辆的Hu矩示例

1.4Harris角点

物体的角点是其区别于其他物体的重要特征之一，不同车在角点数目和分布位置上都会有所不同。而同一的车型的车辆之间，角点特征在有所区别的同时又有着其相近之处,那通过角点检测的方法来判别车型便成为一个可行的思路。

对于灰度图像I(x,y)，如果给定一个小窗口高斯窗，如图4所示，当窗口沿任意方向移动时,若灰度均值变化大于给定阈值,则将该点定义为角点。如果窗口在不同方向位移为x,y，灰度变化量用Ex,y表示,则:

Ex,y=∑[xIx+yIy+o(x2+y2)]2

≈(x,y)M(x,y)T

(11)

图4　高斯窗应用图示

Ex,y在某种意义上是一个椭圆函数，如图5所示。矩阵M的两个特征值决定椭圆的扁率和尺寸，矩阵M的特征向量决定椭圆的方向。其中，一阶导数近似为：

Ix=I⊕(-1,0,1)

(12)

Iy=I⊕(-1,0,1)T

(13)

图5　Ex,y的椭圆形式

M是该点的局部自适应矩阵，为：

(14)

其中，W为高斯平滑函数，可控制局部窗口大小；⊕表示模板的卷积。Harris和Stephens提出用矩阵的行列式Det(M)和迹Tr(M)来描述角点量R：

R=Det(M)-kTr2(M)

(15)

其中，k为系数,为了抑制直线，取0.04。当某点的R值大于给定阈值时，则将其视为角点。

本系统中，Harris角点检测算法步骤如下：

1) 将消除误点后的轮廓图像作为输入图像，计算图像的方向导数，分别保存为Ix以及Iy。

2) 计算每点的局部自相关矩阵M，做极大值抑制。

3)利用R=Det(M)-kTr2(M)判断该点是否为角点。

具体取多少角点作为车型识别的标准，需要根据具体的车辆轮廓信息来确定。图6分别取小客、大客、小货、大货、集装箱、拖挂中最具有代表性车辆的R值较大的Harris角点的分布图，其余角点相对较小，且彼此相差不大，没有太强的表征意义。

图6　质量因子最高的5个角点分布图

为了更合理地选取角点特征，我们对每个车型都做了大量的抽样分析。图7分别取小客、大客、小货、大货、集装箱、拖挂中最具有代表性车辆的Harris角点质量因子由大到小的分布。

图7　各车型Harris角点分布示例

由图7中的分布特点可以看出各个车型的有效Harris角点数其实就只有五个左右，货车和拖挂的有效角点数目比较多，这是由于货车载货后外部轮廓比较复杂所致。选用的角点数与判别率的关系如图8所示。因此，为了保证系统识别速度，我们只选取质量因子排序前7的Harris角点进行判别。

图8　选用的Harris角点数与判别率的关系

1.5特征融合

根据图像融合所处阶段不同，一般在三个不同阶次上进行，即像素级融合[8,9]、特征级融合[10]和决策级融合[11]。一般来说，特征级图像融合对目标识别效果要优于像素级融合和决策级融合[12]。特征级融合不但可以提取更多的有效特征，在进行综合分析处理后，还可获得有更强表征特性的复合特征，降低训练复杂性，同时提高算法的自适应能力。

常用的特征融合方法有模糊方法[13]、神经网络[14]、聚类[15]等。特征级融合大体上可分为如下三类：一种是简单的特征组合，即将特征向量通过串行、并行的方法构建新的特征向量，如串行融合算法和并行融合算法；第二种方法是特征选择，通过最优计算或智能计算，从组合的特征向量中，对每一维数据都选出一个分类最优的数据，利用选出的数据构建新特征；第三种是通过特征变换。

本文采用了串行方式对两组特征进行融合：设样本空间为Ω，A、B是二组特征。取任一样本ξ∈Ω，对应的两个特征向量为α∈A和β∈B,融合后的特征为γ={α,β}。

RBF神经网络的输入端可构建如下：

(16)

(17)

(18)

采用径向基函数神经网络(RBF)神经网络作为分类器, RBF神经网络是一种性能极佳的前馈型神经网络，RBF网络可以任意精度逼近任意的非线性函数，且具有全局逼近能力，从根本上解决了BP神经网络的局部最优问题，而且结构紧凑，收敛速度快，取得了良好的效果。

2车型识别系统及其结果分析

本实验系统中,预先定义了小客、大客、小货、大货、集装箱、挂车六类车型, 每种车型取600个样本,其中300个作为训练集合,300个作为测试集合。样本中包含每个大类车型中的所有不同小类车辆。例如小客样本包括小轿车、SUV等不同型号，不同厢数的车辆。实验的结果如表3-表5所示。其中单独使用Harris角点时的平均正确率为89.4%, 单独采用轮廓矩时的识别正确率是89.3%,而混合特征的平均正确率94.25%。可以看出, 采用混合特征大幅度的提高了识别正确率。在2.6 GHzCPU，2 GBRAM硬件环境下，处理320×240图片需要的平均时间在26 ms左右，完全可以满足实时性的要求。在2.3 GHzCPU，2 GBRAM硬件环境下进行测试，单独采用Harris角点和轮廓矩处理一辆车的外部轮廓数据所用的时间分别为12 ms和18 ms，在采用Harris角点和轮廓矩的融合特征进行判别时也只需23 ms，时间复杂度只有略微的增长，完全可以满足实时性的要求。图9显示了各方法的判别效果。

表3　单独采用Harris角点识别率

表4　单独采用轮廓矩检测

表5　采用融合轮廓矩和Harris角点混合判别

图9　轮廓矩和Harris角点以及其融合特征的判别效果比较

3结语

对于一些可以得到简易轮廓图像的车型识别系统，本文提出了一种基于融合轮廓矩和Harris混合特征的车型识别方法。由数据对比可以明确地看出，利用融合之后的特征进行判别，各个车型的识别率比单独的特征判别有着明显的提高。但是从表格中的数据可以看出此方法对于货车的误判率还是很高，还需要进一步的改进。

参考文献

[1] Yong Q,Limin J,Yuan Z.Railway intelligent transportation system and its applications[J].Engineering Sciences,2011,9(1):53-59.

[2] 贾宁,马寿峰,陈华.一种基于地磁感应的车型分类算法[J].计算机应用研究,2010,27(4):1270-1272.

[3] 罗瑞,张自红.基于红外对管及BP神经网络的车型识别[J].制造业自动化,2013,35(2):89-91.

[4] 张健雄,张进,戴志超.基于压力传感器阵列的车型分类系统[J].公路交通科技,2006,23(7):125-129.

[5] 任建强.基于视频序列的车型识别算法设计[J].计算机工程,2011,37(24):245-250.

[6] Xiang F,Yong H,Dandan S.An image retrieval method based on hu invariant moment and improved annular histogram[J].Elektronika ir Elektrotechnika,2013,19(10):114-118.

[7] Bellavia F,Tegolo D,Valenti C.Improving Harris corner selection strategy[J].IET Computer Vision,2011,5(2):87-96.

[8] Yang B,Li S.Pixel level image fusion[J].Information Fusion,2012,13(1):10-19.

[9] Varshney P K.Multi-sensor data fusion[J].Electronics and Communication Engineering Journal,1997,9(12):245-253.

[10] Benmokhtar R.Robust human action recognition scheme based on high-level feature fusion[J].Multimedia Tools and Applications,2014,69(2):253-275.

[11] Khazaee M,Ahmadi H,Omid M.Vibration condition monitoring of planetary gears based on decision level data fusion using Dempster-Shafer theory of evidence[J].Journal of Vibroenginteering,2012,14(2):838-851.

[12] Pohl C,Van J L.Review article multi-sensor image fusion in remote sensing:Concepts,methods and applications[J].International Journal of Remote Sensing,1998,19(5):823-854.

[13] Feng Z G,Wang Q.Research on health evaluation system of liquid-propellant rocket engine ground-testing bed based on fuzzy theory[J].Acta Astronautica,2007,26(10):840-853.

[14] Yu S W,Zhu K J,Diao F Q.A dynamic all parameters adaptive BP neural networks model and its application on oil reservoir prediction[J].Applied Mathematics and Computation,2008,195(1):66-75.

[15] Sanghamitra B,Sriparna S.GAPS:A clustering method using a new point symmetry-based distance measure[J].Pattern Recognition,2007,40(12):3430-3451.

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.02.034

收稿日期：2014-07-31。天津市科技支撑计划重点项目(10ZCKF SF01100)；天津市科技型中小企业创新基金项目(13ZXCXGX40400)。张军，副教授，主研领域：图像处理，智能交通，模式识别应用。孙文本，硕士生。杨正瓴，副教授。