金守峰,范 荻,田明锐

(1.西安工程大学 机电工程学院,陕西 西安 710048;2.长安大学 道路施工技术与装备教育部重点试验室,陕西 西安 710064)



基于运动模糊图像的车载视觉测速方法

金守峰1,范 荻1,田明锐2

(1.西安工程大学 机电工程学院,陕西 西安 710048;2.长安大学 道路施工技术与装备教育部重点试验室,陕西 西安 710064)

针对车载视觉系统随车体运动导致所获取场景图像的全局运动模糊,建立了车体运动速度与图像运动模糊尺度、成像设备参数间的数学模型.通过分析全局运动模糊图像的频谱特征,确定了频谱图像中暗条纹的方向、间距与运动参数之间的关系.在提取暗条纹边缘特征基础上,提出了两次Radon变换估计运动模糊方向和模糊尺度的算法.试验结果表明:算法对速度大于2.0 m·min-1的全局运动模糊参数估计具有良好的结果,试验测得的速度与平均速度相对误差在2%以内,验证了所提方法的可靠性和有效性.

运动模糊; 频谱特征; Radon变换; 速度测量

车载视觉系统在实际的成像过程中,由于成像设备与场景之间存在相对运动,在曝光时间内所获取的图像会产生运动模糊,降低了图像的质量,导致信息不能准确获取[1-2].由于成像设备随车体的运动在模糊图像中形成全局性运动模糊,模糊函数中的模糊方向和模糊的尺度也反映出成像设备与场景之间的相对运动信息.许元男等通过摄像机固定在某一位置,采集行驶车辆侧面的单幅运动模糊图像,提出了一种局部运动模糊参数的辨识方法,利用局部运动模糊图像提取了运动模糊方向和尺度信息,实现了车辆速度的测量[3].CELESTINO等通过分析静态图像与动态模糊图像的灰度变化规律,对运动模糊图像的相同灰度区域进行统计分析,对速度进行了测量[4].徐骋等研究了摄像机曝光时间内机载摄像机与图像拖影长度的关系,实现了机载成像拖尾效应的图像测速方法[5].本文根据全局运动模糊图像的成像原理和特性,建立了运动速度与模糊函数之间的关系,提出了全局运动模糊参数的估计方法,实现了车体相对于场景的速度测量.

1 运动模糊成像原理

在模糊成像过程中,物体上的一个点映射到图像平面上不仅仅是一个对应的像素点,而是在图像平面上弥散成一个区域.在机器视觉系统中为了降低算法的复杂度,假设图像变换为线性空间不变系统,则模糊图像的一般模型为[6]

(1)

式中:g(x,y)为卷积;f(x,y)为原始图像;h(x,y)为点扩散函数;n(x,y)为加性噪声.

载体的运动过程包括变速运动过程、非直线运动过程,在曝光时间足够短的条件下均可将其近似分解成多段匀速直线运动过程的累加,匀速直线运动模糊的点扩散函数h(x,y)为

(2)

式中:L为支持域尺寸;θ为运动方向.

成像设备随载体运动所获取的场景都参与卷积,所形成的运动模糊为全局运动模糊.全局运动模糊成像原理如图1所示.图1中X-O-Y为运动平面,x-o-y为图像平面,且图像平面与运动平面相互平行,相机的光轴与运动平面垂直.当目标点在X-O-Y平面内由A点运动到B点时,运动的位移为ΔS.在曝光时间内,由小孔成像模型可知,目标点在x-o-y平面上由a点到b点的灰度连续变化为模糊轨迹Δs.两者同步运动直观地反映了目标点的运动轨迹.

成像设备的曝光时间为T,运动目标在X-O-Y平面的运动位移为ΔS=Tv,其投影在x-o-y平面的运动位移为Δs=Ls,由图1可推导出运动速度v为

(3)

式中:H为物距;f为镜头焦距;T为曝光时间;L为曝光时间内的运动位移,即运动模糊尺度;s为像素大小.

由式(3)可知,在物距、镜头焦距、曝光时间已知的前提下,运动速度与模糊尺度成正比.

图1 运动模糊成像原理Fig.1 Principle of motion blurred imaging

2 运动模糊图像的频谱特征分析

对忽略加性噪声N(u,v)的运动模糊图像g(x,y)进行离散傅里叶变换,则有:

(4)

在曝光时间T内,在X轴的位移为a,在Y轴的位移为b,则在t时间内的运动位移为x0=(at)/T,y0=(bt)/T,图像分辨率为M×N,则点扩散函数h(x,y)的离散傅里叶变换函数H(u,v)可表示为[7-8]

(5)

式中:u= 0,l,2,…,M-l;v= 0,l,2,…,N-l.

由式(4),(5)则有

(6)

由式(6)可知,点扩散函数频谱的幅值|H(u,v)|具有sinc函数的特征,因此运动模糊图像频谱的幅值|G(u,v)|也具有sinc函数的特征.当ua/M+vb/N=n,n= 0时,|H(u,v)|取得最大值,则|G(u,v)|亦取最大值,显示为亮条纹;当n≠0时,|H(u,v)|=0,则|G(u,v)|=0,显示为暗条纹.

对如图2所示的分辨率为640×512的静态地面图像进行运动模糊的模拟仿真分析.

图2 静态地面图像Fig.2 Static ground image

2.1 暗条纹方向的频谱特征

采用运动模糊尺度L=10(pixel),运动模糊角度分别为0°和30°的点扩散函数对图2进行卷积，产生全局运动模糊,对其进行傅里叶变换得到频谱图.运动模糊图像及其频谱图如图3所示.

由图3可知,无论运动模糊方向是水平运动还是非水平运动,在运动模糊图像的频谱图中均出现了相互平行的暗条纹,这些暗条纹为|G(u,v)|=0时所对应的位置.暗条纹的分布方向一致,且与运动方向的夹角近似90°.

2.2 暗条纹间距的频谱特征

采用水平运动且不同运动模糊尺度L(pixel)的点扩散函数对图2进行卷积，产生全局运动模糊图像,对其进行傅里叶变换得到频谱图.运动模糊图像及其频谱图如图4所示.

图3 不同运动方向的运动模糊图像及频谱图Fig.3 Motion blurred image and frequency spectrum in different motion directions

由图4可知,随着运动模糊尺度的增加,频谱图中条纹的数量随之增加,但是暗条纹的间距减小.即运动模糊尺度与模糊图像频谱图中暗条纹的间距成反比,与暗条纹的数量成正比.

3 暗条纹边缘特征提取

由运动模糊图像的频谱特征可知,暗条纹的方向和间距表征了相对运动速度的方向与大小,因此只需提取暗条纹的特征即可确定运动参数.由于暗条纹分布规律明显,在进行特征提取时无需对频谱图像整体进行处理,只需选取合适的特征区域即可,该特征区域必须包含表征运动信息的暗条纹方向与间距特征.

为了能够在特征区域中保留暗条纹特征,同时消除频谱中心高亮度的影响.通过大量试验对比,兼顾暗条纹特征和计算速度,本文在频谱图的中心位置的上方选取如图5所示的大小为32×256的矩形区域作为特征区域,该区域中暗条纹特征明显.

对图5的特征区域进行Canny算子的边缘特征提取,得到如图6所示r 暗条纹边缘特征,在运动模糊尺度较小时暗条纹边缘模糊,边缘特征提取不连续.随着运动模糊尺度的增加,暗条纹边缘清晰,边缘特征连续.

图4 不同模糊尺度的运动模糊图像及频谱图Fig.4 Motion blurred image and spectrum of different blur scale

图5 频谱图的特征区域选取Fig.5 Feature region selection of spectrogram

图6 Canny算子的边缘特征提取Fig.6 Edge feature extraction of Canny operator

4 运动模糊参数估计算法

4.1 运动模糊方向的估计

运动模糊图像频谱图中暗条纹可由直线ua/M+vb/N=n来表示,暗条纹的方向角α等于该直线的斜率,两者之间的关系为

(7)

设θ为被测目标与成像系统的相对运动方向,则将tanθ=b/a代入式(7)可得

(8)

由式(8)可知,当图像的行列相等时,频谱图中暗条纹方向α与运动模糊方向θ之和等于90°;行列不相等时,频谱图中暗条纹方向α与运动模糊方向θ之和不等于90°,而与两者之比有关.由运动模糊图像频谱图识别出暗条纹的角度α,将其代入式(8)中计算出运动模糊方向.

本文采用Radon变换估计频谱图中暗条纹角度,Radon变换是对图像矩阵在某一指定方向上进行线性积分的变换方法,Radon变换原理如图7所示.通过Radon变换将图像中所含有的线转换到相应的线参数域中,图像中的每一条线在线参数域中的相应位置都会出现一个峰值,因此相互平行且具有相同方向的暗条纹在Radon变换后,在线参数域中的相应的角度位置就会出现峰值,该峰值点对应的坐标即为暗条纹的角度.对图3(c)中30°方向的运动模糊图像进行Radon变换,其变换曲线如图8所示,得到运动模糊方向为31.083 4°,与给定角度的相对误差为3.61%.

图7 Radon变换原理图Fig.7 Schematic diagram of the Radon transform

图8 Radon变换曲线Fig.8 Radon transform curve

4.2 运动模糊尺度的估计

运动模糊图像频谱图的中心点与直线(ua/M+vb/N)= 1之间的距离为d,根据中心点与直线间距离的公式,则d为

(9)

由运动模糊图像的频域特征可知,频谱图中心点两侧的暗条纹间距D是其他暗条纹间距d的2倍,即D=2d.设运动模糊图像的模糊尺度为L,则a=Lcosθ,b=Lsinθ,且令代入M/N=σ,则D为

(10)

由式(10)得到运动模糊尺度L为

(11)

由式(11)可知,运动模糊的模糊尺度与频谱图中暗条纹间距D成反比,与运动模糊方向θ成反比.此外,暗条纹间距与图像尺寸M×N有关.

对频谱图在运动模糊方向进行投影,投影曲线主瓣宽度与频谱图中心点两侧暗条纹距离相等,因此对频谱图在运动模糊方向角度θ上进行二次Radon变换得到投影曲线.提取与中心点对称的两个极值点坐标,估计中心点两侧暗条纹的间距D.对图4c中模糊尺度L=20的频谱图进行二次Radon变换,得到运动模糊尺度为21.33,相对误差为6.67%.

根据运动模糊图像的频谱特征估计运动模糊尺度与模糊方向,在物距、曝光时间等参数已知的条件下,由式(3)计算运动速度.

5 试验

在试验中,设计开发了基于四轮车的车载视觉测速平台,如图9所示.

图9 车载视觉测速平台Fig.9 Vehicle vision speed measurement platform

试验平台由车体、视觉采集与计算机图像处理系统组成.试验平台的车体尺寸为1 000 mm×400 mm×500 mm,四轮直径为260 mm,材质为硬质塑料,承重后不变形.前轮为转向轮,后轮为驱动轮,由直流电机驱动.试验平台的速度范围为0～100 m·min-1.试验所用的地面为干燥的沥青混凝土地面,以10 m作为试验长度,两边分别延伸2 m作为助跑区.车载视觉系统的视场高度H为500 mm,成像设备的曝光时间为50 ms,在规定的试验区运动,采集的运动模糊图像如图10所示.

在试验区域内每2 m做标记,记录试验平台通过所需的时间,多次测量后得到平均速度为48.0 m·min-1.本文方法计算的速度曲线如图11所示,与平均速度的相对误差为1.88%.

6 结论

(1) 分析了运动模糊图像的一般模型,研究了运动速度与曝光时间对运动模糊图像的影响,建立了运动模糊尺度与车体速度的数学模型,提出了基于运动模糊图像的视觉测速方法.

图10 采集的图像及其频谱图Fig.10 Acquisition of the image and its spectrogram

图11 速度曲线Fig.11 Speed curve

(2) 对运动模糊图像的频谱特征进行研究,确定了运动模糊图像频谱图中暗条纹方向和间距的特征与运动信息的关系.设计开发Radon算法来估计运动模糊方向和运动模糊尺度,结合安装参数计算速度.

(3) 通过开发车载视觉测速平台实地验证了方法的可行性,但是受到车轮滑转、路面状态及车轮材料性能等因素的影响,速度值的稳定性有待进一步提高,同时可通过调节视场高度进一步扩大测速的范围.

[1] 郭永彩,郭瑞瑞,高潮.运动模糊图像点扩展函数的参数鉴别[J].仪器仪表学报,2010,31(5):1052-1057

GUO Y C,GUO R R,GAO C.Identification of blur parameters from motion blurred images[J].Chinese Journal of Scientific Instrument,2010,31(5):1052-1057.

[2] 刘红亮,陈维义,许中胜.基于序列图像匹配的车载自主测速方法[J].系统工程与电子技术,2014,36(11):362-365

LIU H L,CHEN W Y,XU Z S.Research on vehicle-borne autonomous velocity measurement method based on sequence image matching[J].Systems Engineering and Electronics,2014,36(11):362-365.

[3] 许元男,赵远,刘丽萍,等.基于局部运动模糊图像的侧速方法[J].光电工程,2009,36(10):71-80

XU Y N,ZHAO Y,LIU L P,et al.Velocity measurement based on partial motion blur image[J].Opto-Electronic Engineering,2009,36(10):71-80.

[4] CELESTINO M,HORIKAWA O.Velocity measurement based on image blur[J].ABCM Symposium Seriesin Mechatronics,2008,3:633-642.

[5] 徐骋,刘永才,强文义,等.基于运动模糊效应的图像测速方法[J].2008,37(4):625-628.

XU C,LIU Y C,QIANG W Y,et al.Image velocity measurement based on motion blurring effect[J].Infrared and Laser Engineering,2008,37(4):625-650.

[6] 庞涛,程小平.基于Radon变换的运动模糊图像参数估计[J].科学技术与工程,2010,10(20):5551-5554.

PANG T,CHENG X P.Parameters estimation of motion blurred images based on radon trans formation[J].Science Technology and Engineering,2010,10(20):5551-5554.

[7] 段若颖,谌德荣,蒋玉萍,等.Radon变换对短模糊尺度下匀速直线运动模糊参数的准确估计[J].兵工学报,2013,34(10):1232-1235

DUAN R Y,CHEN D R,JIANG Y P,et al.Accurate estimation of motion blur parameters at short blurred extent based on radon transform[J].Acta Armamentarii,2013,34(10):1232-1235.

[8] 范海菊,冯乃勤.短模糊尺度下运动模糊参数的频域识别方法[J].计算机工程与设计,2011,32(1):244-247

FAN H J,FENG N Q.Frequency domain approach to molion blurred parameters identification at short blurred extent[J].Computer Engineering and Design,2011,32(1):244-247.

Research on vehicle speed measurement method based on motion blur image

JIN Shoufeng1,FAN Di1,TIAN Mingrui2

(1.College of Mechanical and Electrical Engineering,Xi’an PolytechnicUniversity,Xi’an 710048,Shanxi,China;2.Key Laboratory of Highway Construction Technology and Equipment,Ministry of Education,Chang’an University,Xi’an 710064,Shanxi,China)

In view of the global motion blur of the scene image acquired by the vehicle vision system,the mathematical model of the body motion speed and image motion blur scale and imaging equipment parameters are established.By analyzing the spectral features of the global motion blurred image,the relationship between the direction of dark fringes,the pitch and the motion parameters is determined.On the basis of extracting the edge features of the dark stripe,a two Radon transform is proposed to estimate the motion blur direction and the fuzzy scale.Experimental results show that the proposed algorithm has good results,and the relative error between the speed and the average velocity of the experimental results is less than 2%.The reliability and validity of the proposed method are verified by the experimental results.

motion blur; spectrum characteristic; Radon transform; velocity measurement

长安大学高速公路施工机械陕西省重点实验室开放基金资助项目(310825161123);西安工程大学博士基金资助项目(BS1535);西安工程大学研究生创新基金资助项目(CX201713)

金守峰(1979-)男,副教授,博士.E-mail:jdxyjsf@126.com

TP 391.4

A

1672-5581(2017)01-0083-07