APP下载

基于双目视觉的轨道纵向位移测量方法

2022-11-04王晓初钟隆昇王义张胜辉刘强

科学技术与工程 2022年27期
关键词:双目标定坐标系

王晓初, 钟隆昇, 王义, 张胜辉, 刘强

(1.广东工业大学, 省部共建精密电子制造技术与装备国家重点实验室, 广州 510006; 2.广州大铁锐威科技有限公司, 广州 510663)

在外界温度变化、高速列车的启制动及路基沉降或膨胀等因素作用下,轨道内部会产生很大的纵向水平推力,使得轨道和轨枕作为一个整体沿着道床纵向移动,这种现象称为轨道爬行或轨道纵向位移[1]。当轨道纵向位移超过设计偏差且没有得到及时有效的维护,将导致轨道发生不可完全消除的形变,最严重时有可能会引起轨道断裂或轨道摆脱轨枕。因此,为了保证铁路的安全运营,对轨道纵向位移进行测量是十分必要的。

传统的轨道纵向位移测量方法主要采用电类位移传感器和加速度传感器[2],且通常需要在轨道或轨枕等铁路设施上安装位移传感设备。如磁致伸缩位移传感器[3]、激光位移传感器[4]、光纤传感器[5]等。此类方法操作简便,计算速度快,但传感设备由于长期受到轨道的振动和恶劣天气的影响,导致设备可靠性和测量精度下降。随着计算机视觉测量技术的发展,许多学者将其应用到轨道纵向位移测量中[6]。Hudson等[7]对一种黑白方格标志物进行归一化互相关图像处理,以实现轨道纵向和垂向位移测量。苗壮等[8]对一种圆形人工标志物进行Canny边缘检测算法提取中心点,以测量无砟轨道层间结构位移。王梦宇[9]设计一种灰度与背景对比明显的圆形标志物,并对其进行亚像素最优圆拟合定位,以获取钢轨在列车载荷作用下动态位移的时程曲线。此类方法自动化程度高,但测量使用的标志物仅仅是简单的规则图案,当技术人员需要对轨道整体情况进行分析并测量多个监测点的位移数据时,需要人为的区分不同监测点对应的位移数据,增加了测量时间。

因此,现提出一种基于双目视觉的轨道纵向位移测量方法,该方法首先需要设计一种编码标志物,对该标志物图像进行双目视觉处理并识别其中的编码值,以自动区分不同轨道监测点所对应的纵向位移数据。

1 测量方法

为了在复杂现场环境中,可对监测图像进行非接触式采集,提出一种如图1所示的图像采集现场部署方案。

图1 图像采集现场部署Fig.1 On-site deployment of image acquisition

该方案主要由编码标志物、双目相机以及计算机处理系统组成。首先将不同编码值的标志物固定在多个监测点的轨腰处,再使用双目相机拍摄位移前后的标志物图像,最后计算机处理系统对标志物图像进行处理和编码识别。

1.1 标志物设计

由于轨道的表面特征不明显,目前的视觉测量技术无法满足轨道位移测量的要求,通常需要在目标表面固定人工标志物作为特征点,以提高测量精度[10]。为了区分不同的轨道监测点,设计了一种如图2所示的带编码信息的标志物。

图2 编码标志物Fig.2 Coding marker

标志物由编码区域(4个)、定位点(3个)、匹配模板及编码宽度校准点组成。编码区域位于标志物边缘四周,每个编码区域具有3位起始位,4位编码位,3位结束位,共10个码元,4个编码区域共16个编码位,即编码容量为65 536个;定位点位于标志物3个顶角处,作用是提取匹配模板和编码区域;匹配模板由黑白相间的同心圆环组成,边缘成分多,在进行滑动匹配过程中,能够准确地计算模板中心移动的像素距离;编码宽度校准点半径与码元宽度具有7∶3的比例关系,识别其半径所占像素个数即可确定码元所占据的像素个数。

1.2 计算机处理流程

图3所示为计算机处理系统对标志物图像进行处理和编码识别的具体流程。其中,模板匹配使用零均值归一化互相关法[11],目的是求出模板中心位移前后的像素坐标以及模板中心在双目图像中的视差;采用小孔成像模型和视差原理,可将像素坐标系转换到相机坐标系,并求出模板中心位移前后的空间坐标,即实现轨道纵向位移的测量。同时,程序通过一维像素扫描方法识别出标志物的编码信息,从而辨别当前监测点对应的编码值。

图3 计算机处理程序流程图Fig.3 Computer process flow chart

2 测量原理

本文所提出的基于双目视觉的轨道纵向位移测量方法包含3个关键技术,分别为模板匹配、坐标系转换以及编码识别。

2.1 模板匹配

模板匹配具有速度快,使用原始信息,无需预处理等优点[12],其原理如图4所示。首先使用轮廓树的方法识别3个定位点,可在目标位移前的图像中选定模板子区,然后模板子区在目标位移后的图像中进行滑动匹配,最后,根据匹配相关程度,找出峰值点即为模板中心位移后的像素坐标。

图4 模板匹配原理示意图Fig.4 Schematic diagram of template matching principle

其中,相关函数是判断目标匹配程度的标准,常用的相关函数有归一化互相关函数(normalized cross correlation,NCC)、标准化协方差相关函数(zero-mean normalized sum of squared difference,ZNSSD)、差平方和相关函数(sum of squared difference,SSD)及零均值归一化互相关函数(zero-mean normalized cross correlation,ZNCC)等[13]。使用ZNCC进行相关计算,其对光偏移、光强补偿、光强变化和线性放大均不太敏感,同时其抗噪声干扰能力也比较好[14]。ZNCC表达式为

(1)

2.2 坐标系转换

理想情况下,三维空间点坐标在相机成像上的投影可使用小孔成像模型描述,即光心、像点和物点位于一条直线上[15]。基于小孔成像模型,不同坐标系之间的转换关系可使用如图5所示的坐标系转换模型描述。

图5 坐标系转换模型Fig.5 Coordinate system conversion model

根据小孔成像模型,假设空间点L(XW,YW,ZW)在相机坐标系下表示为(XC,YC,ZC),则对应像元表示为(x,y,f),则可得出如下的相似比关系,即

(2)

式(2)中:ZC为视距,表示相机光心到物体所在平面的距离;f为相机的焦距;将相机坐标系与图像坐标系的转换写成矩阵形式,即

(3)

像元的参考平面是图像传感器平面,原点位于感光平面中心,因此,像素坐标与图像坐标相差了一个缩放和一个原点平移的关系,即

(4)

式(4)中:(u,v)为像元(x,y)在像素坐标系ouv的表示;dx、dy为像元尺寸;u0、v0为图像中心;结合式(2)~式(4),可写出相机坐标系到像素坐标系的矩阵转换形式,即

(5)

式(5)中:fx=f/dx、fy=f/dy分别表示在x轴和y轴上的归一化焦距;s为图像传感器制造误差,一般忽略不计,即s= 0。

R和T表示世界坐标系OWXWYWZW变换到相机坐标系OCXCYCZC的3×3旋转矩阵和3×1平移矢量。R和T表示相机的外部参数,令A表示相机的内部参数,表达式为

(6)

则世界坐标系到像素坐标系的转换为

(7)

式(7)中:A为相机的固有参数,考虑到相机制造、安装、工艺等因素形成的误差,一般不直接使用相机出厂时的数据,而是通过张正友标定法[16]求取。

由式(5)可知,要实现图5中的L点在相机坐标系和像素坐标系之间的转换,不仅需要知道相机的内参矩阵A,还需要求出视距ZC。基于如图6所示的双目立体视觉原理,经过双目图像极线校正后,可将视距ZC的计算转换为视差的计算。

图6 双目立体视觉原理Fig.6 Principles of binocular stereo vision

根据式(5),计算左右相机的像素坐标与相机坐标在X轴分量之间的转换为

(8)

式(8)中:u′和u分别为空间点的X轴坐标映射到左像素和右像素平面上的像素坐标;ZC和Z′|C分别为左相机和右相机的光心到物体所在平面的距离,ZC=Z′|C;两式相减可得

ZCd=fx(X′|C-XC)=fxtx

(9)

式(9)中:d为视差,可通过图1所示模板匹配的方法,获取d=u′-u;tx为左右相机光心的水平距离,可通过相机标定,获取tx=X′|C-XC;结合式(5)、式(9),基于视差原理,可通过像素坐标,求出对应在相机坐标系下表示的空间点坐标为

(10)

2.3 编码识别

编码识别原理如图7所示,首先需要对标志物图像进行摆正以及确定3个定位点的时序,通过轮廓树处理,求出3个定位点中心像素的坐标为(x1,y1)、(x2,y2)、(x3,y3),根据3个定位点之间的内积和外积关系,可确定3个定位点的次序与旋转角度,即

(11)

式(11)中:(x1,y1)、(x2,y2)和(x3,y3)分别为左上角定位点、右上角定位点和左下角定位点的坐标;θ为编码标志物的旋转角度。

根据求出的旋转角度θ,标志物进行仿射变换后可进行摆正,系统重新计算3个定位点的像素坐标为(x′1,y′1)、(x′2,y′|2)和(x′3,y′3)。

图7 编码识别原理Fig.7 Principles of code recognition

使用一维像素扫描的方法依次扫描下、左、上、右编码区域。在像素扫描过程中,会将定位点和编码宽度校准点的部分像素也加入到扫描序列中,因此,扫描完成后,需要对像素采样序列进行分析。以下编码区域为例,从(x′|2,y′|3)到(x′|3,y′|3)开始扫描,根据编码宽度校准点半径与码元宽度的比例关系,通过霍夫变换识别该半径所占像素个数,即可确定起始位(111)和结束位(101),并取出它们之间的4位编码位,否则,认为此次扫描无效,进行下一行像素扫描。当系统完成4个编码区域的扫描,可得到图7所示的二进制编码值为000 000 100 010 101 1,转化为十进制编码值为555。

3 实验验证与分析

如图8所示,首先在实验室完成基于双目视觉的轨道纵向位移测量现场部署。

图8 实验室部署方案Fig.8 Laboratory deployment plan

编码标志物使用亚克力材料打印,尺寸大小为55 mm×55 mm,将其固定在轨道测试件的轨腰处,然后测试件整体放置在直线滑轨上,通过滑块移动,模拟轨道的爬行。使用的双目相机型号为HNY-CV-003B,其畸变<0.3%,分辨率为1 280×720,像素尺寸为3 μm×3 μm,镜头焦距为16 mm。

3.1 相机标定

相机标定的目的是获取双目相机的内参矩阵、畸变系数、旋转矩阵及平移向量,用于极线校正和坐标系转换。采用像素密度为400 PPI的显示屏作为标定板绘制棋盘方格,精度可达±0.06 mm,标定板的方格尺寸设置为20 mm×20 mm,方格数为11×7,利用MATLAB标定工具箱,采用被广泛应用的张正友标定法,进行双目系统的标定,图9所示为任意角度标定板角点提取图片。

通过拍摄多张不同位置和倾斜角度的标定板图像,可解算出表1~表3所示的双目相机内外参数标定结果。

图9 标定板的角点提取Fig.9 Corner extraction of calibration plate

表1 左相机内参标定结果Table 1 Calibration result of left camera internal parameters

表2 右相机内参标定结果Table 2 Calibration result of right camera internal parameters

表3 双目相机外参标定结果Table 3 Calibration result of external parameters of binocular camera

3.2 位移测量实验

在轨道位移测量试验中,将轨道测试件放置在双目相机正前方1.5 m处,并且采集双目图像。图10所示为左右原始图像经过极线校正后,使用零均值归一化互相关法进行模板匹配的结果。左右模板中心像素坐标相减可求出视差d。

使用精度为0.1 mm的游标卡尺,控制轨道测试件的移动距离,每次移动5 mm,同时进行双目图像采集,共采集10帧图像。根据相机标定的结果和视差d,代入式(10),可求出图5所示模板中心在不同位移时表示的空间X轴坐标。表4为1.5 m处轨道测试件的纵向位移测量结果。

图10 模板匹配结果Fig.10 Template matching results

表4 1.5 m处位移测量结果Table 4 Displacement measurement result at 1.5 m

由表4可知,误差随着移动距离的增大而增大,原因是坐标系转换计算中,相机内参矩阵和极线校正的误差在引起的,但误差率基本保持不变,平均误差率为1.39%,可见该方法应用在轨道纵向位移测量的准确性。

进一步分析本文方法测量精度的影响因素,将轨道测试件放置在双目相机正前方1.0、1.5、2.0 m处,测量20组数据,每组位移量为5 mm。图11所示为不同工作距离下,本文方法测量的空间坐标与游标卡尺测量的位移值的比较结果。

图11 不同工作距离的测量结果Fig.11 Measurement results for different working distances

从图11可知,本文中使用的方法具有较强的追踪定位稳定性,在水平正前方1.0、1.5、2.0 m处,实验测量的平均误差率分别为1.04%、1.39%、1.90%,误差率随着测量距离的增大而增加,原因是模板匹配存在像素级误差,并且在坐标系转换计算中,其放大倍数会随着测量距离的增大而增大。

可见,影响本文方法测量精度的因素包括双目相机的工作距离以及标志物的位移量两个方面。因此,为了获得足够的测量精度,在实际测量时需首先将双目相机调整到合适的位置。

3.3 编码识别实验

为了验证本文方法可自动区分不同轨道监测点,如图12所示,进行编码识别实验。在双目相机正前方1.0、1.5、2.0 m处,轨道测试件上固定的标志物上的编码值分别为1 234、1 234、555,并且它们的摆放次序各不相同,对其进行定位点识别并提取标志物编码区域。

根据式(11),对图12不同距离的编码区域进行摆正后,并使用本文所提一维像素扫描法进行处理,可得到如图13所示的编码像素采样序列。

从编码像素采样序列中,可识别出起始位(111)和结束位(101),并提取16位二进制编码位,最终计算出编码值分别为1 234、1 234、555,与实际编码值一致,可见本文所提方法在自动区分不同轨道监测点对应位移数据上具有可行性。

为了进一步测试本文所提一维像素扫描方法对编码识别的准确率,在图12实验的基础上,增加一组2.5 m处的实验,并使用13个不同编码的标志物进行测试。表5为编码识别率测试结果。图14所示为在2.5 m处,任意一组编码区域识别效果。

图12 编码区域识别效果Fig.12 Coding area recognition effect

图13 编码像素采样序列Fig.13 Coded pixel sample sequence

表5 编码识别率测试结果Table 5 Code recognition rate test result

图14 2.5 m处编码区域识别效果Fig.14 Recognition effect of coding area at 2.5 m

由表5的实验结果可知,在水平1.0、1.5、2.0 m处,编码识别率都是100%。在水平2.5 m处,编码识别率为0,从图14可知,其原因是测量距离过大时,提取的编码区域二值图像素面积过小,导致每个编码位占据的像素个数过小,当进行一维像素扫描时,编码位与像素个数的换算关系不精确,从而识别出错误的编码值。

可见,本文所提方法在一定工作距离内,可以100%精确识别轨道监测点的编码号,当增大工作距离,为保证编码识别准确率,可选择高分辨率的双目相机或更换大焦距的双目镜头。

4 结论

随着高精度相机的发展和普及,使得非接触视觉测量技术应用到轨道位移测量领域更为便利,针对一般非接触式视觉测量技术无法区分不同轨道监测点的问题,提出了一种基于双目视觉的轨道纵向位移测量方法,并在实验室进行合理有效的模拟试验,得出以下结论。

(1)在本文的实验条件下,随着双目相机的工作距离加长,本文方法测量效果有所下降,但是在2 m的工作距离,纵向位移测量平均误差率为1.90%,测量值与实际值基本一致,表明本文所提方法应用在轨道纵向位移测量中的准确性。

(2)设计了一种带编码的标志物,使用一维像素扫描的方法对其进行编码识别,在2 m内的编码识别率为100%,表明该方法在自动区分不同轨道监测点对应位移数据上具有可行性。

(3)本文提出的测量部署方案具有数据采集简单和对行车影响小等特点,为轨道纵向位移试验及其类似工程试验提供了技术参考,在之后的工作中,应对不同监测点的位移数据进行融合处理,从而对轨道整体平顺性进行评估预测。

猜你喜欢

双目标定坐标系
采用双目视觉和自适应Kalman滤波的作物行识别与跟踪
霜 降 苏美玲
基于双目视觉的机器人定位与导航算法
独立坐标系椭球变换与坐标换算
轻卡前视摄像头的售后标定
一种轻卡前视单目摄像头下线标定方法
极坐标系中的奇妙曲线
使用朗仁H6 Pro标定北汽绅宝转向角传感器
机械手的双目视觉定位抓取研究
CT系统参数标定及成像—2