胡继华，程智锋，钟洪桢，靖泽昊，张力越

(中山大学 a.公共实验教学中心;b.广东省智能交通重点实验室;c.数据科学与计算机学院，广州 510006)

0 引 言

随着多旋翼无人机技术的成熟，无人机(UAV)视频已经能够用于道路交通调查[1]。道路交叉口车流量调查是交通调查的重要部分，是对路口车辆直行、左转或右转等运动方向进行跟踪并统计出各方向的车流量，为路口红绿灯配时和渠化提供依据[2]。常用的做法是将无人机悬停在道路交叉口的中心上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频，然后对各种车辆进行检测、跟踪，最后进行统计，得到各个方向的车流量，完成交通调查。

车辆检测和跟踪是路口交通调查的关键，后续的流量统计和分析都是建立在高精度的车辆检测跟踪基础上。常用的车辆检测算法分为两类，一类是将运动前景和背景分离的方法，获取车辆前景区域，如背景差法和帧差法，这种方法依赖于高质量的背景图像和车辆的速度等运动特征[3]；另一类是采用机器学习方法，根据车辆的颜色、角点和尺度特征，对车辆样本和非车辆样本进行计算和学习，如基于HOG特征方法[4]、基于HAAR特征方法等[5-6]，然后直接对视频帧上的车辆进行识别。这种方法需要大量的训练才能达到高精度，对车辆周围环境也很敏感，而各个交叉口的环境恰恰各不相同，给应用这类算法带来困难。视频车辆跟踪是近年来计算机视觉等领域研究的热点，先后出现了各种算法和方法，包括基于特征的方法[7]，基于滤波理论的方法[8]，以及近年来出现的机器学习的方法等[9-10]。这些算法跟踪的车辆较少，或者跟踪的方向比较单一，不能满足交通调查的要求。另外，和固定视频相比，无人机视频同时记录了无人机的倾斜、旋转和漂移等运动，因此不能直接应用固定视频场景下的车辆检测和跟踪算法。

本文针对道路交叉口车流量调查的普适性、高精度等实际要求，以及交叉口附近车辆的运动特征，提出了一种无人机视频中的道路交叉口车辆检测和跟踪方法。该方法通过视频稳像和道路交叉口行车区域定位，将无人机视频场景转换为固定视频场景，从而可以使用固定视频场景下的车辆检测和跟踪算法，并将车辆检测和跟踪分成独立的两个阶段，使用背景差法检测车辆，然后使用置信度指标进行车辆跟踪。方法包括视频稳像、背景提取和交叉口行车区域定位、车辆检测、车辆跟踪等步骤。最后使用实际的道路交叉口无人机视频，对算法进行实验验证。

1 道路交叉口行车区域定位方法

道路交叉口一般有斑马线标志的人行横道。各个斑马线轴线相交围成的区域就是交叉口行车区域，进出交叉口的车辆都经过该区域，因此在该区域进行调查能够满足车流量调查的要求。在区域内，车辆一般是运动的，这有利于背景差法识别车辆。同时，仅在区域内进行车辆识别和跟踪，可以排除很多道路标志标线、道路设施或行道树等的影响，以及车辆等候红灯或避让行人的影响。因此，对无人机视频进行稳像后，定位道路交叉口行车区域，在区域内进行车辆识别和跟踪，就将无人机视频场景转化为固定视频场景，可以使用固定场景下的车辆识别和跟踪算法。

定位道路交叉口行车区域，关键是识别斑马线，然后拟合出各个斑马线的轴线，并对轴线相交形成的区域进行缩小处理，就可得到行车区域。

斑马线的识别算法包括双极系数法[11]、等高线法[12-13]和灭点法[14]等方法。前两种方法精度都比较低，只能识别出斑马线的大致范围(一般是外包矩形)，而等高线法可以提取斑马线条带的轮廓，故本文采用等高线法识别斑马线。等高线法是一种边缘检测算法，其输入是二值图像，即高斯混合模型背景建模得到的背景图像的二值化。输出是各种地物的轮廓多边形，其中包括斑马线条带的多边形。然后根据斑马线条带的面积特征、形状特征和等间距特征，将其他多边形过滤掉，剩下的基本是斑马线条带的多边形。

接着计算出这些多边形的中心点，并使用聚类算法或随机森林算法对中心点分类，分类的依据是相邻斑马线条带多边形中心点的距离，这样得到多组分类结果，对应了实际路口的斑马线。由于车辆或行人的遮挡，或者斑马线条带过于模糊，部分斑马线条带没有识别出来，会导致某组斑马线条带个数过少(如小于4)，如果这样，就放弃这组斑马线。最后得到多组斑马线，每组设为Sk。

一般来说，一组斑马线条带的中心点都在斑马线轴线上，因此，采用最小二乘法对各组斑马线的中心点进行直线拟合。设Sk组中心点拟合的直线方程为：

初步的结果出来后，对各个斑马线轴线进行判断，如果两条斑马线接近平行且距离很近，那么这两条直线可能同属于一条斑马线的轴线，则将这两组斑马线条带合并为一组，重新进行直线拟合。

得到各条斑马线轴线后，计算各轴线的交点，各交点顺序连接形成的区域就包含了道路交叉口行车区域，区域的中心即位道路交叉口的中心。再将各个轴线向道路交叉口中心平移半个斑马线条带长度的距离，此时围成的区域就是道路交叉口行车区域。

2 置信度指标

在道路交叉口无人机视频中，车辆的影像基本为正射投影影像，其颜色特征和几何特征都比较简单，很多车辆的影像特征存在相似情况，所以必须结合运动特征才能正确跟踪。本文提出了置信度指标，用于度量前后帧中车辆影像是否属于同一车辆。该指标综合了车辆影像直方图相似度、速度相似度和方向相似度，经过加权计算出指标值，实现车辆跟踪，计算公式如下:

Ic=αR(H1,H2)+βVs+γDs

(1)

式中:Ic是置信度指标;R(H1,H2)是车辆影像直方图相似度，H1,H2是前后帧中车辆影像的直方图;Vs和Ds分别是速度相似度和方向相似度;α、β、γ是权重系数，且α+β+γ=1。

(1)直方图相似度计算。图像直方图计算量小，具有图像平移、旋转、缩放不变性等优点，车辆的转弯、掉头行为对其影响不大。在车辆直方图相似度上，采用相关系数进行度量。相关系数不是直接比较两个直方图在每个灰度值上的匹配程度，而是给出两个直方图的线性相关程度，这样可以增加直方图相似度计算的抗干扰能力，进而提高算法鲁棒性。相关系数公式如下：

(2)

将上式中的随机变量替换成车辆直方图并展开得：

r(H1,H2)=

(3)

式中：Hk=1,2是归一化后的直方图，H1是车辆的颜色直方图，H2是当前时刻待跟踪的车辆的颜色直方图，且

(2)速度相似度。因为车辆直方图比较简单，在同1帧上或相邻帧上可能存在多个相似的车辆直方图，因此还需要结合车辆的运动特征，即车辆的速度和方向信息进一步判断。这里车辆的速度使用当前帧中车辆图像和前1帧中车辆图像的像素距离,表示为

(4)

式中，Δ是一个极小量，防止分母为0。

如果速度相同，则其相似度为1；否则速度差别越大，其相似度越小。

(3)方向相似度。方向相似度的采用速度的方向值

Ds=cos〈vnew,vold〉

(5)

计算车辆速度方向的夹角。

3 技术流程

技术流程如图1所示，包括视频稳像、背景建模、斑马线识别、交叉口行车区域计算、车辆提取、去噪处理和车辆筛选等步骤。

3.1 车辆识别

(1)前景提取。使用背景差分法，用输入的视频帧的帧减去背景图像，即可得到前景图像，然后保留交叉口行车区域的图像，其他区域的舍弃。

(2)去噪处理。前景影像里面可能仍旧有一定的细小密集的噪声点，需要使用腐蚀膨胀操作去除这些噪声点，同时保证车辆形状较为完好；对于剩余的噪声，用中值滤波进一步处理。最后，使用二值化操作加强目标效果。

图1 车辆检测和跟踪技术流程

(3)车辆筛选。在道路交叉路口会有非机动车、人力三轮车、行人等干扰，会对识别造成一定的影响。因此需要设定识别目标大小的范围，包括目标大小的上界和下界，将非车辆目标和其他因素排除，剩下的目标就是车辆的影像了，将它们的范围用矩形标示出来，就得到了车辆识别结果。

3.2 车辆跟踪

车辆和道路交叉口的关系可以分为刚进入交叉口的车辆，在交叉口中行使的车辆，以及离开交叉口的车辆。对于刚进入交叉口的车辆，必然不属于已经跟踪到的车辆集合，即其置信度必然小于一定的阈值，此时应增加一个新的车辆跟踪类，对该车辆进行跟踪。对于在交叉口中行使的车辆，不断计算后续帧中车辆影像属于该车辆的置信度，选择其中置信度最大的车辆影像作为该车辆的最新踪迹。对于离开的车辆，应该检测不到置信度大于阈值的车辆影像，如果这种状况持续一定时间，即停止对车辆进行跟踪。

4 实验结果与分析

本次实验的道路交叉口位于广州大学城，一个是广州中医药大学和广东外语外贸大学校区之间的中环东路与大学城北四路交叉口;另一个是中山大学西门旁边的中大西路与中环东路交叉口。所用的无人机为大疆精灵3专业版，高清摄像头。无人机在距离道路交叉口地面正上方100 m高度悬停，正射拍摄，视频30帧/s，分别得到视频1和2，时长13 min左右。两个交叉口有人、非机动车等非检测跟踪目标干扰，同时又有树木遮挡等因素影响，是一个较为复杂的环境。

首先进行视频稳像，然后进行背景建模，从图2(b)可以看出，视频拍摄期间无人机存在旋转抖动等现象，由于进行了稳像处理，那些没有像素值的区域全部补0，所以图像周围存在一定的黑边现象，但不影响后续车辆检测。

(a) 视频1原始视频图像(b) 视频2稳像后的图像

(c) 视频1交叉口行车区域定位结果(d) 视频2交叉口行车区域定位结果

图2 无人机视频稳像和路口定位结果

接着计算交叉口行车区域，对两个交叉口都进行了处理。视频1路口是普通的斑马线，视频2路口是特殊的斑马线，因为每条斑马线的一半被涂上了红白色的油漆，使斑马线更加突出(图2(b))。本文的算法准确地计算出了两个视频中的路口行车区域，分别如图2(c)和2(d)所示，其中黑色虚线是计算出的斑马线轴线，黑色实线围成的矩形就是路口行车区域。

行车区域确定后，按照技术流程进行车辆检测。从图3可以看到，深色小汽车、浅色小汽车和公交车辆都被正确地检测出来，摩托车等干扰也被排除掉。

(a) 小汽车检测结果(b) 公交车和小汽车检测结果

图3 车辆识别结果

两个视频里面的车辆都进行了检测，结果见表1，视频1共有835个车辆影像，正确检测了789个车辆影像，正确率为94.49%；视频2共有1 853个车辆影像，正确检测了1 841个车辆影像，正确率为99.35%，显示本方法的精度相当高。

表1 视频1和视频2的车辆识别评价结果

视频上的车辆全部检测完毕后，再使用跟踪算法进行车辆跟踪，跟踪到的车辆用黑色矩形框表示，轨迹用白色线表示，跟踪的部分结果见图4，图中共4个图片，抓取了跟踪过程中从视频1的1 421帧开始，每隔20帧一幅图的结果图片。从图中可以看出，跟踪结果相当好，浅色和深色的车辆都被跟踪到了，其中深色车的转弯行为也被跟踪出来。

(a) 第1 421帧(b) 第1 441帧

(c) 第1 461帧(d) 第1 481帧

图4 部分车辆跟踪结果

视频1车辆跟踪结果如表2所示，其中第2列是本文算法结果，第3列人工标定结果,即人工从视频上统计的结果。从表中可以看出，12个车辆行驶方向中，只有左往上方向和右往上方向漏跟踪了个别车辆，其他方向的车辆全部正确跟踪，总的正确率为95.50%。

表2 道路交叉口车辆跟踪结果

5 结 语

本文以道路交通调查为应用场景，提出了基于无人机视频的道路交叉口车辆检测和跟踪方法。由于道路交叉口场景复杂，干扰因素多，本文将车辆检测的范围缩小到交叉口行车区域，提高了车辆检测的速度和精度。针对实验视频，车辆检测的精度分别达到94.49%和99.35%。然后使用车辆跟踪模型计算车辆影像的区域直方图相似度、车辆速度相似度和方向相似度，得到各视频帧里面的车辆影像属于某一车辆的置信度，从而实现车辆的跟踪。该模型也被应用到实验视频中，精度达到95.50%，显示该方法能够应用于道路交通调查。