郭君斌,王建强,易世春,李克强

(1.清华大学，汽车安全与节能国家重点实验室,北京 100084； 2.第二炮兵工程大学,西安 710025)

前言

前方车辆检测和测距是前向碰撞预警、自适应巡航控制等先进辅助驾驶系统的关键技术之一。相对于雷达等主动传感器而言，视觉具有信息丰富、可视范围大、价格低廉和易于检测与跟踪等特点[1]，因此基于视觉的前方车辆检测方法越来越受到研究人员的重视。基于多目(包含双目)视觉系统需要做大量的模型设计，图像之间特征点匹配的计算量大，实时性差，很难适用于车辆数目较多的场合，因此现有方法多是基于单目视觉系统来完成的。

当前的车辆识别多集中在白天光照条件较好的前提下进行，主要利用车辆的阴影、边缘、角点、对称性等特征获得车辆候选区域[2]，然后根据支持向量机(support vector machine, SVM)[3-5]或Adaboost机器学习算法[6-7]等人工智能方法进行验证。但是，在夜间等黑暗环境中，由于光照条件差，车辆的外形特征很难甚至不可能检测到，因此夜间环境下的车辆检测是智能交通系统中的一个研究难点。

夜间前方车辆呈现的主要特征是高亮度的尾灯，因此研究人员提出通过设定固定的亮度阈值来提取尾灯信息，然后经过块标注和相似性分析(如面积、位置和形状等)来实现尾灯的配对和车辆检测[8-10]。但该方法设定的亮度阈值固定不变，对环境变化的适应性较差，而且容易将路灯和交通标志牌的反光等误识别为车辆尾灯。利用尾灯的红色特性，可以剔除部分非尾灯的高亮区域，常用方法是在不同的色彩空间里设定颜色边界阈值。常用的有RGB[11-12]、HSV[13]和YCbCr[14-15]等色彩空间。但在剔除非尾灯目标的同时容易使部分尾灯外形受到破坏，导致误检或漏检部分正确尾灯。还有的提出利用尾灯的形状信息来剔除非尾灯区域，如假设尾灯为圆形或椭圆形[16-17]，但随着LED技术的发展，尾灯的形状也朝着异型化和一体化发展，形状差异越来越大，因此难以通过简单的尾灯形状达到提取真实尾灯的目的，容易造成真实尾灯漏检。

获得可能的尾灯信息后，须将属于同一车辆的两个尾灯配对，从而确定真实车辆位置。尾灯配对的准则一般是要求相似的纵坐标和面积等，还应具有一定的高宽比和对称性等。在车辆位置确定上，一般假设尾灯离地高度为0.7～0.9m[10,18]，而左右尾灯距离与离地高度之比约为2.0[17-18]。在尾灯相似性方面，文献[19]中提出了形状、运动相似性等，达到了89.3%的检测率。但上述方法只涉及尾灯的准确配对，首先是阈值设置困难，难以获得较高的检测率和较低的误检率，再者利用帧间信息很少，一旦出现尾灯与高亮物体发生粘连等情况，就会导致车辆检测的失败，对复杂光照环境的适应性不强。

针对传统方法在尾灯提取时最佳阈值设置困难、解决车辆检测率和误检率之间的矛盾，提出一种新的基于单目视觉的夜间前方车辆检测算法，整个流程如图1所示。利用最大类间方差法自适应确定灰度阈值实现尾灯图像的二值化，并基于颜色信息剔除部分非尾灯高亮区域，根据前一帧的车辆检测结果，利用Kalman滤波跟踪方法预估车辆在本帧中的位置，将图像分为跟踪区域和检测区域，在两个区域内分别根据先验知识进行尾灯配对，然后根据尾灯对之间的特征相似性比较，剔除误检的尾灯对，在尾灯粘连等检测失败的情况下，基于前一帧检测结果，通过尾灯估计完成车辆检测。

1 尾灯信息的提取

尾灯的一个显著特征是红色的高亮区域，特别是亮度信息，在黑暗的环境中显得尤为突出。因此，提出基于亮度和颜色的改进尾灯分割算法(modified rear lamp segmentation algorithm, MRLSA)。首先在亮度空间通过自适应阈值对尾灯目标进行分割，然后对获得的高亮目标进行颜色分析，只有具备一定红色信息的目标才被认为是备选尾灯，从而排除对面来车的前大灯和其它高亮发光体等的影响。

1.1 基于自适应亮度阈值的尾灯分割

由于夜间前方车辆图像中尾灯所占比例较小，利用Otsu对整幅图像分析获得的阈值不能将目标和背景分开，容易造成分割不足。为获得合适的分割阈值，须提高目标灰度信息在待分割直方图中所占的比例。图像分块法受分割子块大小影响较大，且子块完全属于背景时的分割效果不好；多次迭代搜索最佳阈值的方法[20-21]耗时较长，实时性较差。

为减少计算量，提高系统的实时性，根据图像中尾灯灰度比背景灰度高的特性，提出根据大量尾灯统计结果确定尾灯分割阈值的下界，在阈值下界和最高亮度值之间利用最大类间方差法自动确定最佳分割阈值的设定方法。该方法不仅可减少计算量，节省处理时间，而且由于初始阈值去掉了大量的暗背景，提高了目标在待分割区域所占的比例，有利于获得最佳分割阈值。

尾灯分割阈值下界的选取对尾灯分割结果的影响较大，过低容易导致分割不足，过高则容易导致分割过度，破坏尾灯的完整性。MRLSA的尾灯分割阈值下界通过人为离线统计确定，共统计了300幅不同环境下的尾灯图像的亮度分布情况，结果如图2所示。由图可见，一般尾灯亮度的灰度值均大于170，小于170的不到1%，因此可将尾灯分割阈值的下界设为170。

1.2 基于颜色信息的非尾灯高亮目标剔除

通过阈值分割提取的高亮目标中，会存在道路和车身反光引起的高亮物体，它们与尾灯之间的差别在于尾灯是红色的，而反光体等其他干扰物一般都是白色的，因此，可以利用颜色信息来剔除非尾灯的高亮区域。

通过统计尾灯像素的颜色信息发现，在HSV色彩空间中，可以通过简单的阈值信息来提取尾灯信息[13]。但是，对于廉价的普通CCD相机，不能像高动态范围相机那样采集的整个尾灯都明显呈现出红色，往往是尾灯中心区域呈高亮的白色，周围存在一些红色像素。因此，本文中的MRLSA方法则根据高亮块的大小，适当放大搜索区域，统计该区域内红色像素的分布均值，只有该均值大于某阈值时才有可能是车辆尾灯。

尾灯分割效果如图3所示。图3(a)为采集的夜间前方车辆图像，图3(b)为简单Otsu方法获得阈值分割尾灯的结果，由于分割不足，使得尾灯与反光连成一片，图3(c)是利用自适应亮度阈值的尾灯分割结果，能将尾灯与其他高亮目标完整地区分，图3(d)是采用MRLSA提取的尾灯结果，实验结果可以看出，提出的MRLSA不仅能将尾灯完整分割开来，而且消除了车牌等高亮物体的干扰。

2 基于尾灯配对的前方车辆检测

虽然不同车辆之间的尾灯形式各异，没有统一的标准，但都要求尾灯必须是高亮且对称分布，左右尾灯具有相同的形状和大小。因此，可以通过图像处理的方法提取尾灯的相似性特征完成尾灯配对，并依此检测出前方道路中的车辆。由于前方不仅有多帧连续出现在感兴趣区域(region of interest, ROI)的车辆，也有新切入ROI的车辆，为便于尾灯配对，利用Kalman滤波方法将上述两种情况分别处理。首先利用Kalman滤波对前一帧检测到的车辆位置进行预测，根据预测结果将图像分为跟踪区域和检测区域，在两个区域内分别进行尾灯配对，并根据相似性比较消除误配对的尾灯对。如果前一帧中未检测到任何车辆，则认为图像中不存在跟踪区域，直接在整个ROI内进行尾灯配对。

2.1 基于Kalman滤波的车辆位置预测

假设前一帧图像中检测到的某辆车位置为p(u,v)，u和v为车辆尾部中心在地面上投影点的图像坐标，根据事先标定的摄像头参数即可计算p(u,v)在世界坐标系中对应的位置：

(1)

(2)

其中px=u-W/2

(3)

py=H/2-v

(4)

式中：h为摄像头的安装高度；H、W分别为图像平面的高度和宽度；2β0为摄像机镜头的水平视场角；2α0为摄像机镜头的垂直视场角；γ0为摄像机的俯仰角；px、py分别为图像坐标系中x、y方向相对于图像中心的坐标。

状态方程为

X(k)=A(k|k-1)X(k-1)+w(k-1)

(5)

观测方程为

Z(k)=C(k)X(k)+v(k)

(6)

(7)

(8)

式中：A(k|k-1)为从k-1时刻到k时刻系统的状态转移矩阵；C(k)为观测矩阵；w(k-1)和v(k)分别为零均值的系统噪声向量和观测噪声向量；T为从k-1时刻到k时刻系统的采样时间间隔。

假设k时刻Kalman滤波预测的目标车辆位置为(Px,k,Py,k)，根据下式获得对应的图像位置：

(9)

(10)

将px,k、py,k根据式(3)和式(4)的逆变换得到对应的图像坐标p(uk,vk)。再以p(uk,vk)为底边中心，前一帧中对应车辆图像宽度的1.2倍为边长的正方形区域为车辆跟踪区域，其它区域为检测区域。在检测区域主要检测新切入ROI区域的车辆，在跟踪区域进行尾灯配对，并完成车辆检测，若尾灯配对失败，则根据尾灯估计实现车辆跟踪。若连续5帧均未能跟踪到对应车辆，则认为该车已超出检测区域，不再对其进行Kalman滤波跟踪预测。

2.2 基于先验知识的尾灯配对

由于左右尾灯具有相同的形状和大小，且左右对称分布，忽略摄像头安装时的旋转和车辆的震动，左右两个尾灯应具有一样的图像纵坐标、面积和对称性，再考虑实际的车宽一般在1.7m左右，因此，可以根据上述先验知识设定尾灯配对的约束条件。

假设Bi(ui,c,vi,c)和Bj(uj,c,vj,c)为候选尾灯块，对应的面积为Ai和Aj，其中ui,c，vi,c，uj,c和vj,c分别是各候选尾灯块中心的图像坐标；尾灯块Bi左右上下四边的坐标为ui,left，ui,right，vi,top和vi,bottom；尾灯块Bj左右上下四边的坐标为ui,left，ui,right，vi,top和vi,bottom，如图4所示。则根据尾灯对之间的相似性，建立如下约束条件：

(1) 尾灯高度一致 由于两尾灯的安装高度一致，因此在图像中，尾灯对应满足|vi,c-vj,c|<Δh；

(2) 面积一致性 两尾灯块之间的面积差异不能太大，即

(3) 尾灯对外接矩形宽度 假设车辆尾灯距地面高度为尾灯对外接矩形宽度的一半[17-18]，可根据事先标定的参数通过图像坐标到世界坐标的转化[23]来计算尾灯对外接矩形的宽度Rwidth=uj,right-ui,left，要求在一定的范围之内；

(4) 车辆尾灯对外接矩形的宽高比应在一定的范围内，即

(5) 尾灯对称性 如图5所示，将尾灯对的左尾灯Bi(ui,c,vi,c)左右镜像结果Bi′(ui,c,vi,c)与右尾灯Bj(uj,c,vj,c)进行比较，统计两者的重合区域面积As，计算其与最大的尾灯块面积的比值λs，若小于某阈值Δλs，则认为两尾灯对称性不强，不属于同一车辆。

λs=As/max(Ai,Aj)

(11)

在上述阈值中，由于左右尾灯形状大小相同，所以其中心纵坐标差异阈值Δh、面积差异阈值ΔA和对称性约束Δλs要求较为严格。但是由于不同车型设计的尾灯形状大小不同，而且安装高度各有差异，同时考虑到行车过程中由于道路颠簸存在震动，使得用于车宽计算的参数存在一定的误差，因此尾灯配对中尾灯对的宽高比和车宽的阈值范围应当设置的相对宽泛一些。本文中根据实验获得的经验，一般Δh在1～3像素之间，ΔA在1～2之间取值，Δλs一般取0.5左右，尾灯对外接矩形的宽度近似于车宽，一般取1.7±0.5m，而尾灯对外接矩形的高宽比要求在3～15之间。

2.3 基于尾灯相似性比较的误检车辆剔除

由于实际道路上两车不可能发生重叠，如果在基于尾灯配对的车辆检测结果中发生重叠现象时，其中必然存在误检车辆，应将其剔除。

假设本帧中检测到的第i辆车Vi对应尾灯对Lm(um,vm)和Ln(un,vn)，则将车辆Vi的四边定义为T(Vi)，B(Vi)，L(Vi)和R(Vi)：

L(Vi)=min(um,un)

(12)

R(Vi)=max(um,un)

(13)

T(Vi)=(vm+vn-|um-un|)/2

(14)

B(Vi)=(vm+vn+|um-un|)/2

(15)

同理获得第j辆车Vj对应的四边T(Vj)，B(Vj)，L(Vj)和R(Vj)，比较两者之间的边界：

DH(Vi,Vj)=max(L(Vi),L(Vj))-

min(R(Vi),R(Vj))

(16)

DV(Vi,Vj)=max(T(Vi),T(Vj))-

min(B(Vi),B(Vj))

(17)

若DH(Vd,Vi)和DV(Vd,Vi)都小于0，说明两者之间存在重叠情况，则须判断尾灯对Vi和Vj是否为正确的车辆尾灯对，并剔除其中的误检尾灯对。

在跟踪区域检测得到的车辆，通过比较其与前一帧的车辆之间的重合率来消除误检尾灯对。针对尾灯对Vi，假设前一帧检测得到的对应车辆为Vd，Ai和Ad分别为Vi和Vd的面积，计算Vi和Vd之间重叠区域面积Ap，根据重叠区域面积在Vi和Vd所占的比例来判断Vi是否为真实车辆。

(1) 若Ap/Ad≥ΔAS且Ap/Ai≥ΔAS，其中0<ΔAS<1，则认为Vi有可能是前一帧检测到的车辆Vd在本帧图像中的位置。若存在多个尾灯对Vi满足上述条件，则计算前后车辆位移S=|L(Vd)-L(Vi)|+|R(Vd)-R(Vi)|，最小的S值对应的VT认为是Vd在本帧中的对应位置，其它与之重叠的尾灯对均认为是误配对结果。

(2) 若Ap/Ad<ΔAS或Ap/Ai<ΔAS，则认为两者之间的重叠区域太小，Vi是误配对的尾灯对。

在检测区域得到的车辆若也存在重叠的情况，可以比较重叠尾灯对左右尾灯的离地高度和面积大小的差异以及对称性等，差异值较小，对称性较强的尾灯对认为是正确的尾灯对，与之重叠的为误检尾灯对。

3 基于尾灯估计的前方车辆检测

由于夜间光照环境复杂，存在多种干扰光源，会破坏尾灯之间的相似性(如打开转向灯，或一侧尾灯与其他高亮物体连成一块等)，都会造成尾灯配对失败，从而导致无法检测前方车辆。如图6所示，图6(a)为打开左侧转向灯的尾灯形状，图6(b)为左侧尾灯受到对面来车的大灯影响而无法分割的情况，这些情况下都会面临前方车辆无法检测的困难。为降低车辆检测过程中的漏检率，提出一种基于尾灯估计的前方车辆检测方法。

当一侧尾灯与其他高亮物体连成一块时，该尾灯的内侧边缘能被准确分割，而且另一侧的尾灯能被完整地提取，因此，可以根据单侧的完整尾灯估计前方车辆位置。当本帧中的跟踪区域未能检测到相应的车辆，此时应基于尾灯估计完成前方车辆的准确检测。

在二值化尾灯图像中，分别以前一帧图像中的左右尾灯中心Lm(um,vm)和Ln(un,vn)为初始位置，向上下左右搜索非零像素，以搜索到的非零像素所在块为备选尾灯，左右两尾灯块分别设为Li(ui,vi)和Lj(uj,vj)，分别计算左右尾灯块的面积变化率：

ΔAl=|Am-Ai|/Am

(18)

ΔAr=|An-Aj|/An

(19)

(1) 若max(ΔAl,ΔAr)≤ΔAE，则两个备选尾灯块为正确尾灯，以其为基准估计车辆位置，ΔAE的大小可以根据不同需要在0.2～0.4之间选择。

(2) 若min(ΔAl,ΔAr)>ΔAE，则左右备选尾灯都已受到其它高亮物体的干扰，无法估计此时的车辆。

(3) 若min(ΔAl,ΔAr)≤ΔAE而max(ΔAl,ΔAr)>ΔAE，不失一般性，假设ΔAl>ΔAr，则以右侧备选尾灯Lj(xj,yj)为基准，确定左侧尾灯块的位置和大小。计算尾灯组之间的中心距、内侧距、外测距的变化率为

(20)

(21)

(22)

以变化最小的距离对应的右侧位置为基准，按左侧尾灯块的大小估计右侧尾灯块的大小和位置，并根据估计的结果确定车辆位置。

对应图6两种由于尾灯受到其它光照干扰而无法检测车辆的情况，基于尾灯估计的车辆检测结果如图7所示，车辆检测结果用矩形框表示，矩形框下方数字为计算的前车距离。实验结果证明，基于尾灯估计的前方车辆检测方法的检测结果准确，能有效降低前方车辆检测算法的漏检率。

4 实验结果分析

为验证算法的有效性，采集了清华大学夜间校园内、夜间高速和夜间城市路况等3种不同光照环境和干扰因素的夜间实车视频。在主频为2.13GHz的Intel Core i3处理器和内存为2G的计算机上，对上述视频进行处理，算法的平均处理时间如表1所示，算法运行的平均总时间为7.026ms，能满足系统实时处理的需要。

表1 算法的平均处理时间 ms

部分与传统算法的检测结果对比如图8所示。图8(a)是由于受到其它高亮物体的干扰，相似性更高的误配对尾灯对覆盖了正确的尾灯对而发生误检的情况，图8(b)是由于一侧尾灯与其他高亮物体发生粘连而使正确尾灯之间配对失败而发生误检的情况，图8(c)和图8(d)为本文中算法检测的车辆结果，从中可以看出，本文算法能够实现复杂光照环境下前方车辆的准确检测，有效降低检测算法的误检率和漏检率，车辆定位精度更高。

对采集的视频通过人为标注的方式标出各帧图像中的车辆位置，利用传统算法和本文中提出的前方车辆识别算法对上述视频进行检测，性能比较如表2所示。相对来说，夜间校园路况除少量的对面来车大灯干扰外，外界影响较少；最复杂的是夜间城市路况，除对面来车影响之外，还存在路灯等外界光照环境的变化和路灯、路边反光物等干扰，夜间高速路况的复杂程度介于两者之间，因此传统算法在3种路况下的检测率参差不齐。与传统算法相比，本文算法的检测性能较为稳定，检测率较高，在天气晴朗的条件下检测率都在97%以上，能有效地降低漏检率和误检率。

表2 前方车辆检测算法与传统算法性能比较

5 结论

提出一种基于单目视觉的夜间前方车辆检测算法，高亮的尾灯是夜间车辆目标的典型特征，基于亮度和颜色信息可以快速提取尾灯目标。利用Kalman滤波预测方法将图像分割为跟踪区域和检测区域，在两个区域内分别利用位置、大小和对称性等约束条件，可以完成尾灯的准确配对，利用前一帧检测结果和尾灯相似性比较可以消除误配对的尾灯对。利用尾灯估计的方法，可以准确估计单侧尾灯受到外界光源干扰而尾灯配对失败时的车辆位置，能提高前方车辆的检测率。实验结果表明，算法能够在满足实时性要求下，有效检测出夜间前方车辆目标在图像中的位置，在天气晴朗条件下的检测率均在97%以上，为进一步开发具有夜间避撞功能的汽车安全辅助驾驶系统提供了依据。

参考文献

[1] 金立生,王荣本,Bart Van Arem,等.先进驾驶员辅助系统中的车辆探测研究综述[J].汽车工程,2007,29(2):132-136.

[2] Sun Zehang, Bebis George, Miller Ronald. On-road Vehicle Detection: A Review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(5):694-711.

[3] Lin Che-Chung, Lin Chi-Wei, Huang Dau-Chen, et al. Design a Support Vector Machine-based Intelligent System for Vehicle Driving Safety Warning[C]. Proceedings of IEEE International Conference on Intelligent Transportation Systems,2008:938-943.

[4] 孙冲,程洪,郑南宁.一种假设验证框架下的实时道路车辆检测方法[J].模式识别与人工智能,2006,19(6):722-726.

[5] 文学志,赵宏,王楠,等.基于知识和外观方法相结合的后方车辆检测[J].东北大学学报,2007,28(3):333-336.

[6] Khammari A, Nashashibi F, Abramson Y, et al. Vehicle Detection Combining Gradient Analysis and Adaboost Classification[C]. IEEE Proceedings of the International Conference on Intelligent Transportation Systems,2005:66-71.

[7] 李云翀,何克忠,贾培发.基于阴影特征和Adaboost的前向车辆检测系统[J].清华大学学报,2007,47(10):1713-1716.

[8] Kim S Y, Oh S Y, Kang J K, et al. Front and Rear Vehicle Detection and Tracking in the Day and Night Times Using Vision and Sonar Sensor Fusion[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,2005:2173-2178.

[9] Alcantarilla P, Bergasa L, Jimenez P, et al. Night Time Vehicle Detection for Driving Assistance Lightbeam Controller[C]. Proceedings of IEEE Intelligent Vehicles Symposium,2008:291-296.

[10] Chern Ming-Yang, Hou Ping-Cheng. The Lane Recognition and Vehicle Detection at Night for a Camera-assisted Car on Highway[C]. Proceedings of IEEE International Conference on Robotics & Automation,2003:2110-2115.

[11] Wang Chun-Che, Huang Shih-Shinh, Fu1 Li-Chen, et al. Driver Assistance System for Lane Detection and Vehicle Recognition with Night[C]. Proceedings of IEEE International Conference on Intelligent Robots and Systems,2005:3530-3535.

[12] Sukthankar R. Raccoon: A Real-time Autonomous Car Chaser Operating Optimally at Night[C]. Proceedings of IEEE Intelligent Vehicles Symposium,1993:37-42.

[13] Ronan O’Malley, Edward Jones, Martin Glavin. Rear-Lamp Vehicle Detection and Tracking in Low-Exposure Color Video for Night Conditions[J]. IEEE Transactions on Intelligent Transportati on Systems,2010,11(2):453-462.

[14] Nagumo S, Hasegawa H, Okamoto N. Extraction of Forward Vehicles by Front-mounted Camera Using Brightness Information[C]. Proceedings of IEEE Canadian Conference on Electrical and Computer Engineering,2003:1243-1246.

[15] Kuo Ying-Che, Chen Hsuan-Wen. Vision-based Vehicle Detection in the Nighttime[C]. Proceedings of IEEE International Symposium on Computer, Communication, Control and Automation,2010:361-364.

[16] Alt N, Claus C, Stechele W. Hardware/software Architecture of an Algorithm for Vision-based Real-time Vehicle Detection in Dark Environments[C]. Proceedings of Conf. Design, Autom. Test Eur.,2008:176-181.

[17] Wang C C, Huang S S, Fu L C. Driver Assistance System for Lane Detection and Vehicle Recognition with Night Vision[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,2005:3530-3535.

[18] Lin Yu-Chen, Lin Che-Chung, Chen Long-Tai, et al. Adaptive IPM-Based Lane Filtering for Night Forward Vehicle Detection[C]. IEEE Conference on Industrial Electronics and Applications,2011:1568-1573.

[19] Steffen Gormer, Dennis Muller, Stephanie Hold, et al. Vehicle Recognition and TTC Estimation at Night Based on Spotlight Pairing[C]. Proceedings of IEEE International Conference on Intelligent Transportation Systems,2009:196-201.

[20] 王茜蒨,彭中,刘莉.一种基于自适应阈值的图像分割算法[J].北京理工大学学报,2003,23(4):521-524.

[21] Thomas S, Christoph V C, Marius J Z. On-Road Vehicle Detection During Dusk and at Night[C]. Proceedings of IEEE Intelligent Vehicles Symposium,2010:418-423.

[22] 赵其杰,屠大维,高健,等.基于Kalman滤波的视觉预测目标跟踪及其应用[J].光学精密工程,2008,16(5):937-942.

[23] 郭磊.基于机器视觉的智能汽车行驶环境感知系统[D].北京:清华大学,2007.