朱世松　张海燕　张翠云　朱洪锦

1(河南理工大学计算机科学与技术学院　河南 焦作 454003)

2(河南工业和信息化职业学院　河南 焦作 454000)

3(江苏理工学院计算机工程学院　江苏 常州 213001)



一种基于交通视频车辆阴影去除算法的研究

朱世松1张海燕1张翠云2朱洪锦3

1(河南理工大学计算机科学与技术学院河南 焦作 454003)

2(河南工业和信息化职业学院河南 焦作 454000)

3(江苏理工学院计算机工程学院江苏 常州 213001)

摘要车辆识别是智能交通系统的主要研究课题，而阴影是影响车辆识别的最主要原因。根据车辆阴影形成的光学特征，提出一种基于自动标记的OSTU双阈值图像增强车辆阴影去除算法。首先使用改进的统计直方图背景更新算法进行背景更新，获取背景图像。其次使用背景差分运算求取包含移动阴影的前景二值图像。最后使用改进的自动标记算法对所得二值图像的连通区域进行标记，然后分别对每一个标记的连通区域所对应的实际图像使用OSTU双阈值图像分割方法进行分割，并对所得的分割区域进行不同程度的灰度增强。在视频检测实验中，该算法不仅能够有效消除移动阴影，而且在一定程度上克服了阴影误检等问题。实验结果表明，该改进方法在阴影消除方面的有效性。

关键词改进统计直方图邻域压缩OSTU图像增强阴影消除

RESEARCH ON A TRAFFIC VIDEO-BASED VEHICLE SHADOW REMOVAL ALGORITHM

Zhu Shisong1Zhang Haiyan1Zhang Cuiyun2Zhu Hongjin3

1(School of Computer Science and Technology,Henan Polytechnic University,Jiaozuo 454003,Henan,China)2(Henan College of Industry and Information Technology,Jiaozuo 454000,Henan,China)3(School of Computer Engineering,Jiangsu University of Technology,Changzhou 213001,Jiangsu,China)

AbstractVehicle identification is the major research subject in intelligent transportation system, and the shadow is the main factor affecting vehicle identification. According to the optical characteristics of vehicle shadow formation, we proposed an automatic marking-based vehicle shadow removal algorithm with OSTU dual-threshold image enhancement. First, it uses the improved statistical histogram background update algorithm to update the background and to acquire the background images. Then it obtains the foreground binary image with moving shadow by background subtraction operation. Finally, it uses the improved automatic marking algorithm to mark the connected region of the derived binary images, and then segments the actual image corresponding to every marked connected region by OSTU dual-threshold image segmentation algorithm; and the gray enhancements are applied to the obtained segmented regions in different degrees. In experiment of video detection, not only the algorithm can effectively eliminate the moving shadow, but the problem of false shadow detection is also overcome to certain extent. Experimental results showed the effectiveness of the improved method proposed in the paper in shadow removal.

KeywordsImproved statistical histogramNeighborhood compressionOSTU image enhancementShadow removal

0引言

近年来，伴随着智能交通系统的快速发展，基于视频的运动车辆检测作为智能交通系统的重要组成部分受到越来越多的关注。然而，在光照较强的交通视频环境中，阴影成为影响目标车辆检测精度的主要干扰因素，对阴影进行检测和消除则成为当前智能交通领域急需解决的问题。目前常用的阴影去除方法主要分为两类：基于形状特征的阴影去除方法和基于光谱特征的阴影去除方法[1]。

基于形状特征的阴影去除算法需要使用场景、目标和光源位置等先验信息来实现阴影的检测和去除，适用范围较窄[2,3]。Hsieh等人利用车道特征提出一种基于车道航线算法来分离阴影和目标[4]；Akio Yoneyama等人建立一个联合车辆和阴影的二维模型用于从目标中去除阴影[5]。然而，由于这些方法对场景中目标和光源方向等信息的依赖性较强，一旦场景中物体之间的关系发生变化，则该方法的阴影检测效果较差。

基于光谱的阴影去除算法是一种利用目标和阴影的光谱信息进行阴影检测的方法[6,7]。由于该方法不受光源的方向和目标形状等信息的影响，与利用场景的先验信息进行阴影去除的算法相比，该方法对阴影的检测和消除效果较好。文献[8,9]提出了一种确定性非模型算法又叫DNM2(Deterministic Nonmodel-Based)算法。该算法在强光源、相机和背景静止等假设条件均成立的情况下进行阴影的检测和消除。但由于该算法的应用场合是强光环境，对于光线较弱或者阴影亮度不是很明显的场景，算法则不能很好地应用于实践中。文献[10]提出了一种基于HSI和C1C2C3颜色模型的CCM阴影去除算法。由于该算法仅利用HSI颜色空间信息不能很好地实现阴影检测而将C1C2C3颜色模型引入的一种改进的阴影检测方法。该方法的阴影检测效果较好，但是，当目标物体的亮度值与阴影的亮度值相似或者目标亮度比背景亮更低时，该方法则同样不能有效地将目标与阴影分离，甚至将部分目标误判为阴影而被消除，导致结果不完整甚至丢失。文献[11-13]中Kai-Tai Song等人提出了一种SNP2无参数统计算法，该算法利用阴影在RGB颜色空间中，同一区域的阴影和背景的R、G、B三分量的比例呈高斯分布特性而进行阴影检测的一种方法。该方法对大部分阴影的检测效果较好，但对于图像不敏感的区域，仍能无法彻底检测出全部的阴影。文献[14]根据光照模型不变性提出一种基于局部强度比例特征的算法进行阴影检测，该方法的使用方位仍然只局限于强光下。

针对上述算法的缺点和不足，本文根据阴影形成的光学特征，提出一种基于改进的自动标记算法与OSTU双阈值图像增强算法相结合的阴影消除新算法。该算法的阴影去除过程主要分为三步：(1) 使用改进的统计直方图算法进行背景图像的提取和更新；(2) 通过背景差分算法实现包含移动阴影的前景目标提取；(3) 使用改进的自动标记算法和基于OSTU双阈值灰度增强算法进行阴影的有效去除。

1背景图像的生成

采集的视频流中往往包含其他比较复杂的信息，为了获得较为纯净的运动前景，背景图像的获得是一个必不可少的流程。因此，本文选择对常用的背景更新算法——统计直方图算法进行改进，以快速获得较为准确的背景图像。改进的背景更新算法的基本思想如下：首先通过求方差的方法获取划分窗口记录的最佳误差范围R，然后为每个像素点设置一个大小包含N个记录的窗口，每个记录中记录该点在允许的误差范围R内的像素数值及其出现的次数。当窗口填满后，新出现的值替换掉计数最小的记录，这样就保证经常出现的像素值得以积累，而不经常出现的像素数值会被替换掉。由于窗口长度有限，当背景发生变化后，N帧图像过后就可以得到新的背景图像，背景更新周期较短。具体的背景实现如下：

(1)

(2)

(3)

m=Max(C1,C2,…,Ci,…,CN)1≤i≤N

(4)

B(x,y)=(1-α)Tm-1(x,y)+αTm(x,y)0≤α≤1

(5)

式(3)中fM(x,y)表示坐标M(x,y)处的像素值，i表示窗口记录的序号，N表示窗口中所含记录的个数，Ri(x,y)表示窗口中第i个记录的像素值，R表示允许的像素误差范围(通过实验可知为5)，实际上将像素按R大小分组以平均误差，而Ci表示第i个记录的计数值。当fM(x,y)与第i个记录中的像素数值允许的范围之内时，Ci就会自增1。否则，如果所有N个记录中没有与fM(x,y)相同的值，就插入该记录或替换计数最小的记录，并将该记录的计数设为1。

式(4)中m表示N个记录中计数最大的记录序号。

式(5)表示更新M(x,y)点处背景像素值，α表示更新速率，值越大，新的像素数值对背景影响就越大。

当用M(x,y)点出的像素数值fM(x,y)来更新背景时，只要新的像素数值与记录表中的像素数值相差在范围(0,R)内，就认为该像素数值就是背景像素值，这样就减少了直方图统计的项数，也就减少了查找记录表的时间。然而视频中的背景并不是一直不变的。当光照等外部环境出现变化，背景也会跟着发生变化，但是背景的变化会有一个过程，而不是突变的，如摄像机移动过程中还未适应光照的变化等造成光照不稳定等突变。设置更新速率α，将α限制在小于1的范围内，就减小了由于突变产生的影响，同时不会对原来统计的背景产生较大的影响。

采用该算法获取的背景图像较好且实时性高。具体选取实验数据Highway I的第50帧的背景更新效果进行比较，结果如图1所示。

图1　背景更新效果比较

2前景运动车辆的提取

背景图像的获得是进行前景目标提取的前提。获取前景目标的方法有很多，如光流法、帧间差分算法以及背景差分算法等[15]。本文为满足交通视频实时性的要求，选取简单、容易实现、实时性好的的背景差分算法作为提取前景运动车辆的方法。

(6)

式中，Th为根据经验预先设定的阈值。

根据背景差分算法进行前景提取获得的运动车辆如图2所示。

图2　背景差分算法获取的前景目标

3基于改进的自动标记和OSTU双阈值图像增强阴影消除新算法

从图2可以看出，通过背景差分算法获得运动车辆形状发生了极度的变形，造成这一现象产生的原因是由于阴影的存在。通过阅读文献可知：在光照较强的环境中，阴影是由于太阳光或者环境光照被物体遮挡而产生的一种物理现象。根据太阳光照是否全部或者部分被遮挡，可以将阴影分为两种：本影和半影。本影是由于太阳光照被全部遮挡，只有环境光而产生的一种阴影；而半影则是由于太阳光照被部分遮挡而产生的一种现象。根据明暗程度的不同，可以将交通视频流中的一副灰度图像划分目标车辆、本影、半影和背景四个区域。由于本文是以包含移动阴影的目标车辆作为研究对象，故本文首先通过第1、2节的算法提取出包含移动阴影的运动车辆，再使用改进的自动标记算法和OSTU双阈值图像增强算法对其进行处理。最后再次通过背景差分算法获取去除阴影的运动车辆。阴影去除算法的结构框图如图3所示。

图3　本文算法的框图

3.1改进的目标标记算法

目标标记算法是一种以当前二值图像为研究对象的目标识别方法。该方法通过在二值图像中寻找连通区域，相互连接的目标点则被判断为属于同一个目标点，各个不同的连通区域对应不同的目标。通过自动标记过程可以获得目标的个数、位置、轮廓等特征，从而为目标的后续处理提供有效的帮助[16]。

然而，由于目标标记算法需要标记运动目标的信息比较多，时间消耗量大，不利于视频的实时性应用。本文选择对像素点的相邻区域进行压缩，大大减少了自动标记的计算量，提高了计算速度，为算法的实时性应用提供了更优越的条件。算法的改进过程主要分为三个步骤，如图4所示。

图4　目标标记算法过程图

(1) 采用一个3×3的模板对图像b中的9个像素点转换为图像c中1个像素点。转换原则：若图像b中的一个连通域9个像素点有超过6个像素数值为1的点则将此连同区域认为是一个目标点并设置其像素数值为1 ；否则为背景，像素数值设置为0。

(2) 对所得的图像c进行行扫描。当扫描到第一个坐标点(m,k)的像素为1时，并对该行继续向右扫描，依次查询该行像素为1的目标点，直至(m,n)=0，便可停止向右查询。且将所有像素数值为1的像素加入到目标数组中，像素数值保持不变。然后继续对下一行的像素点进行扫描，若(m+1,k-1)到(m+1,n)之间的点中存在像素数值为0的点，则对该行第一个像素数值为1的点(m+1,l)(k-1≤l≤n)向左向右分别扩展s及q个像素点。将(m+1,l-s)至(m+1,l+q)之间的像素点全部加入到目标数组中，并将此区间的像素数值全部赋值为1，同时对上一行区间在(m+1-1,l-s-1)至(m+1-1,l+q+1)及下一行区间在(m+1+1,l-s-1)至(m+1+1,l+q+1)之间的像素点进行扫描。如果他们之间存在像素数值为1的点，则继续重复上述操作，直至某一区间的像素点全部为1终止，则该目标搜索完成。

(3) 当所有目标搜索完毕以后，需要对各个目标的上、下、左、右四个方向外扩三个像素点，以获得较为准确的目标区域，找出区域重心对其标记。

3.2基于OSTU双阈值灰度增强算法

OSTU双阈值图像增强算法是一种基于OSTU双阈值图像分割的灰度增强算法。该方法将一副灰度图像分割为三个区域，并按照一定的要求突出图像中某一区域的特征，同时削弱或去除某些不需要的以及给目标造成干扰的信息。该算法的基本思想：首先采用OSTU双阈值图像分割算法计算三个不同区域之间的类间方差，使类间方差达到最大值的两个像素个数作为划分不同区域的最佳分割阈值；然后，对所得的不同区域内的像素点分别累加预先给定的经验数值以完成图像的灰度增强。

设一副灰度图像包含L个灰度级，阈值m1及m2(m1

(7)

灰度均值为：

(8)

(9)

(10)

(11)

类间方差为：

g(m1,m2)=pA(μA-μO)2+pB(μB-μO)2+

pC(μC-μO)2

(12)

对各区域进行不同程度的灰度增强：

(13)

3.3改进的自动标记算法与OSTU双阈值灰度增强相融合的运动车辆阴影去除算法

本文通过第1、2节分别获得了交通背景图像和包含移动车辆阴影的前景二值图像。接着则采用改进的自动标记算法和OSTU双阈值灰度增强相融合的运动车辆阴影去除算法进行数据的后续处理。首先，对前景二值图像中的每一个连通区域使用改进的自动标记算法进行标记；其次，对前景二值图像中带有标记的连通域和与其对应的当前图像和背景图像进行一系列的运算即得标记位置处实际的车辆前景(前景)和背景，同时对车辆前景使用OSTU双阈值图像分割算法进行区域分割并对所得的分割区域进行不同程度的灰度增强；最后，将标记位置处对应的增强图像和背景图像进行差分运算以获得消除阴影的实际前景车辆。阴影消除算法的整体实现步骤如下：

1) 背景更新：对交通视频图像f(x,y)使用改进的统计直方图背景更新算法获得交通视频的背景图像,即B(x,y)。

2) 前景目标图像的获得：对当前交通图像f(x,y)和从式(5)获得的背景图像B(x,y)进行背景差分运算以得到包含移动车影的前景二值图像F(x,y)；

3) 自动标记：使用改进的自动标记算法对获得的前景二值图像F(x,y)进行标记，记为F′(x,y)，同时将F′(x,y)与当前帧图像f(x,y)与背景图像B(x,y)做运算来获得原始的车辆图像f′(x,y)和背景图像B′(x,y)；

4) 计算最佳阈值：对获得标记的区域f′(x,y)使用OSTU双阈值图像分割方法进行图像分割以获得分割区域的最佳分割阈值m1和m2。

5) 灰度增强：根据阈值m1及m2与标记车辆区域f′(x,y)对应的背景区域B′(x,y)，对获得的分割区域进行不同程度的灰度增强。若f′(x,y)

6) 阴影去除：B′(x,y)和f′(x,y)再次进行背景差分运算，将所得的二值图像进行数学形态学等处理，得到消除车影的前景目标(该算法对于过度复杂的环境，可能需要多次的背景差分)。

通过上述步骤即可获得较为准确的前景车辆，具体见第4节实验结果与分析。

4实验结果与分析

本文选择采用本文算法与当前文献中比较经典的3种阴影去除算法在主观性和客观性两个方面进行比较。实验数据选取公开的交通视频流，详细的视频数据如表1所示。文中所有算法均在硬件环境：操作系统WIN 7、CPU为i5、2.5 GHz、内存为4 GB；软件编译环境：VS2010与OpenCV 2.4.3下进行调试。

表1　实验数据详细参数

4.1主观评价

为了证明本文算法的实验结果具有较好的主观效果，选取DNM2、SNP2以及CCM三种著名的阴影消除算法进行比较。详细比较效果如图5所示。(a) 为实验过程中选取视频流的某一帧原始图像，其余的则为当前文献中存在的几个经典的阴影去除算法以及本文提出的算法获取的实验结果。从图5中可以看出，在不影响车辆识别和跟踪的前提下，采用本文所提的阴影消除算法不仅可以对交通视频中存在的移动阴影进行很好的去除，而且保证了车辆的完整性。然而，对于通过DNM2算法、CCM算法以及SNP2算法所获取的试验结果，虽然可以检测出大部分的车辆阴影并消除，但是，对于目标车辆颜色与背景图像颜色相差不大时，容易将部分目标车辆判断为阴影，造成车辆形状发生变形或者基本消失(如图中白色矩形区域所示)。

图5　阴影消除算法的主观比较

4.2客观评价

为保证实验结果的可靠性，选取文献[17]提出的阴影辨别率η和检测率ξ作为评价算法性能的指标,并参考文献[18]将两者求和取均值来进一步分析其性能，具体定义如下：

其中，ΤPF表示正确检测到的前景像素个数，FNF表示将前景像素误检为阴影像素的个数，ΤPS表示正确检测到阴影像素的个数，FNS表示将阴影像素误检为前景像素的个数。

表2列出了本文算法与当前文献中存在的3种比较好的阴影检测算法进行比较。通过数据对比可以看出，文中所提出的算法明显优于已经存在的其他算法。尤其在Highway I 与Campus两个实验视频中，阴影的检测率较高，但是对于光照较强，阴影区域较小的Highway II，虽然没有错误地将前景像素检测为阴影，但是也没有检测到正确的阴影像素。因此，除了Highway II视频的检测效果除外，本文所提算法与DNM2、CCM以及SNP2三种阴影检测算法相比，Avg的检测率分别提高12.62、11.95、 5.82以及6.92、4.84、0.5个百分点。

表2　阴影消除算法的量化结果比较(%)

根据表2的内容 ，本文通过图6对Highway I的阴影辨别率η、阴影检测率ξ进行表示。从图中可以看出，对于Highway I视频序列，本文提出的阴影检测算法与其他三种阴影检测算法相比，不仅阴影辨别率明显优于其他算法，而且在大部分视频帧中，该算法的阴影检测率也相对比较高。

图6　视频Highway I的定量评价

5结语

本文在改进的背景更新算法的基础上提出了一种基于改进的自动标记算法和OSTU双阈值图像增强相结合的阴影消除算法。该算法通过对固定窗口统计算法和背景差分算法获取的前景二值图像进行标记并对图像中标记位置处实际的前景图像使用OSTU双阈值分割算法进行分割。最后对所得的分割区域进行不同程度的灰度增强以达到阴影消除的目的。实验结果分析表明：利用分组可以减少统计直方图的计算量，从而减少了基于统计直方图背景更新算法的运行时间，保证了实时性；OSTU双阈值分割算法根据前景车辆、本影以及半影的明暗程度能够对自动标记位置处的图像进行很好地分割并通过图像增强和背景差分方法实现了移动阴影的有效去除。

参考文献

[1] 刘怀愚,李璟,洪留荣.基于多特征融合的运动车辆阴影消除方法[J].计算机工程,2011,37(13):156-159.

[2] Saroj K Mehera,M N Murty.Efficient method of moving shadow detection and vehicle classification[J].International Journal of Electronics and Communications,2013,67(8):665-670.

[3] 张红颖,李鸿,孙毅刚.基于混合高斯模型的阴影去除算法[J].计算机应用,2013,33(1):31-34.

[4] Hsieh J W,Yu S H,Chen Y S,et al.A shadow elimination method for vehicle analysis[C]//Proc.ICPR,Cambridge,UK,2004,4:372-375.

[5] Yoneyama A,Yeh C H,Kuo C C J.Moving cast shadow elimination for robust vehicle extraction based on 2-D joint vehicle/shadow models[C]//Proc. ICAVSBS,Miami,FL,2003:21-22.

[6] 曹健,陈红,张凯,等.结合区域颜色和纹理的运动阴影检测方法[J].机器人,2011,33(5):628-633.

[7] Prati A,Mikic I,Trivedi M M,et al.Detecting moving shadows:Algorithms and evaluation[J].IEEE Trans. Pattern Anal. Mach. Intell.,2003,25(7):918-923.

[8] Gevers T,Stokman H.Classifying color edges in video into shadow-geometry,highlight,or material transitions[J].IEEE Trans.Multimedia,2003,5(2): 237-243.

[9] Jurgen Stauder,Roland Mech,Jorn Ostermann.Detection of Moving Cast Shadows for Object Segmentation[J].IEEE Transactions on Multimedia,1999,1(1):65-76.

[10] Sun B,Li S.Moving cast shadow detection of vehicle using combined color models[C]//Chinese Conf. on Pattern Recognition,IEEE,Chongqing,China,2010:1-5.

[11] Kaitai Song,Jenchao Tai.Detection of Moving Cast Image-Based Traffic Monitoring[J].Proceedings of the IEEE,2007,95(2):413-426.

[12] Jiangyan Dai,Miao Qi,Xiaoxi Yu,et al.Integrated moving cast shadows detection method[J].Optical Engineering,2012,51(11):117005-1-14.

[13] Miao Qi,Jiangyan Dai,Qi Zhang,et al.Cascaded cast shadow detection method in surveillance scenes[J].Optik,2014,125(3):1396-1400.

[14] 向金海,廖红虹,樊恒,等.基于局部强度比率特征的前景检测[J].计算机科学,2014,41(3):293-296.

[15] 严红亮,王福龙,刘志煌,等.基于ViBe算法的改进背景减去法[J].计算机系统应用,2013,23(6):130-134.

[16] 王明佳,王延杰,张旭光.利用邻域象素合成实现对目标的快速自动标记[J].微型机与应用,2005(9):49-51.

[17] Andrea Prati,Ivana Mikic,Mohan M Trivedi,et al.Detecting Moving Shadows:Algorithms and Evaluation[J].IEEE Transactions on Patternan Alysis and Machine Intelligence,2003,25(7):918-923.

[18] Ajay J Joshi,Nikolaos Papanikolopoulos.Learning of moving cast shadows for dynamic environments[C]//IEEE International Conference on Robotics and Automation.Pasadena:CA,2008:987-992.

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.02.044

收稿日期：2014-07-29。河南国际科技合作项目(084300510 065)；河南省教育厅科学技术研究重点项目(13A520340)；江苏省自然科学基金项目(BK20130235)；河南省高等学校矿山信息化重点学科开放实验室开放基金项目(KZ2012-02)；河南理工大学博士基金项目(B20 10-95)。朱世松，副教授，主研领域：图像处理。张海燕，硕士生。张翠云，讲师。朱洪锦，讲师。