APP下载

基于机器视觉的钢拱架定位检测方法

2022-09-17陈向阳朱国力黄海彭丹丹

机床与液压 2022年7期
关键词:圆心椭圆边缘

陈向阳,朱国力,黄海,彭丹丹

(华中科技大学机械科学与工程学院,湖北武汉430074)

0 前言

岩石隧道掘进机(Tunnel Boring Machine,TBM)是指在常压情况下全断面开挖岩石的高度机械化刀盘式机头掘进机。在使用TBM进行隧道施工中,当隧道的围岩条件较差时,一般增设钢拱架以加强支护强度,防止塌落。国内隧道修建安装拱架普遍由人工进行,劳动强度大、安全性差、劳动时间长。人工操作机械作业引起的支护不及时或质量不稳定是造成塌方事故的主要原因,因此实现钢拱架拼装由人工操作向自动化转型,是提高TBM 施工安全和效率的重要途径。

钢拱架拼接工作环境恶劣,机器视觉对环境的适应性强,能始终如一地观测,可广泛地和长时间地用于各种复杂的工作环境。陈跃英将机器视觉应用于地铁盾构混凝土管片测量的恶劣工作环境下;熊晓松和周凯基于LabVIEW建立了工件识别的机器视觉系统;MONTAGUE等研究了一种在热轧带钢机上在线测量板坯预拱度的机器视觉方法。机器视觉已经被广泛应用于各个行业,但目前对于自动化拼装钢拱架中使用的机器视觉技术却鲜有研究。

目前,在进行类似于钢拱架铰接孔的圆形结构检测的过程中,主要的方法是利用现有的边缘检测算子提取轮廓,再通过传统Hough变换、改进Hough变换或最小二乘法等算法拟合椭圆。边缘检测是利用这类方法进行拟合的必要的预处理,而边缘检测和Hough变换圆形拟合计算量较大,实时性较差。

本文作者为实现钢拱架的自动化拼装,提出一种基于机器视觉对钢拱架铰接孔进行检测定位的方法。使用NCC模板匹配确定感兴趣区域,基于一维像素序列上的灰度梯度确定椭圆边缘点,采用随机抽样一致性(Random Sample Consensus,RANSAC)算法拟合椭圆确定圆心,为自动化拼装机器人提供钢拱架位姿信息。

1 检测方案

钢拱架拼接是将若干弧形拱架拼接成圆,机械臂抓取钢拱架及拼接段(见图1),拼接时需对钢拱架的位姿进行测量定位,将其位姿信息传给拼装机械臂,机械臂将两个钢拱架上的铰接孔对准,并插入销进行固定。由于钢拱架在拼接过程中会频繁移动,选择非接触的机器视觉测量方法。根据钢拱架拼接段结构特征,选取铰接孔圆心作为钢拱架位姿的特征点。由于钢拱架在同一平面内移动,对深度信息不敏感,可使用单目视觉进行位姿测量。

图1 机械臂抓取钢拱及拼接段实物

美国国家仪器有限公司NI针对自动化系统开发定做的虚拟仪器开发平台LabVIEW与自动检测视觉生成器(Vision Builder for Automation Inspection,VBAI),支持多个厂商的工业相机,包含了大量内置和扩展的图形化编程语言函数库,方便开发者快速构建自动化系统。因此,本文作者基于NI机器视觉开发平台构建机器视觉系统,其检测流程如图2所示。

图2 检测流程

2 钢拱架铰接孔定位

2.1 图像采集

根据检测需求,选用大恒图像MER-1220-9GM型相机,分辨率为4 024像素×3 036像素;选用日本Computar公司V1628-MPY型镜头,焦距为16 mm;选用光源为两个白色漫反射条形光源。将相机、光源固定在支架上,并将其安装固定在铰接孔拼接段前650 mm处,保证视场覆盖拼接段。图像采集现场如图3所示。

图3 图像采集系统现场

2.2 模板匹配

图像模板匹配是指通过分析模板图像和目标图像中灰度、边缘、外形结构以及对应关系等特征的相似性和一致性,从目标图像中寻找与模板图像相同或相似区域的过程。为确保图像的灰度信息能被充分利用,通过计算模板图像与目标图像区域之间归一化的互相关值(Normalized Cross-Correlation,NCC)来确定匹配区域。

(1)

(2)

(3)

为获取模板,在采集的图像中截取一个标准的铰接孔作为模板图像,所选取模板如图4所示。红色区域为掩膜区域,屏蔽该区域,使它不参与模板匹配处理,可去除圆孔处背景的干扰。

图4 模板

由于钢拱架在移动过程中铰接孔可能会有小角度旋转,为使模板匹配具备旋转不变性,需对模板进行多次旋转,每次旋转后的模板需重复进行一次匹配,所旋转的角度范围为±5°、步长为1°,以模板中心为旋转中心按公式(4)进行旋转,旋转坐标计算结果非整数时使用双线性插值法进行插值。

(4)

支持旋转不变性会提高匹配计算量,为将图像匹配过程的实时性提高到工业现场应用可接受的范围,使用图像金字塔算法。在学习和匹配阶段,均先对模板和目标图像同时进行多次隔行隔列的2进下采样,生成多幅尺寸以1/4倍(分辨率以1/2倍)递减的高斯图像金字塔,以减少后续计算量。使用上述模板匹配算法对现场采集图像进行处理,匹配的结果如图5所示。

图5 模板匹配结果

2.3 边缘点提取

由以上处理方法实现了对铰接孔的初定位,在椭圆检测过程中可通过限定搜索区域和搜索数量来提高检测的实时性,所以提出一种基于一维像素序列上的灰度梯度确定边缘点的方法。该方法不需找出所有的边缘进行拟合,而是沿指定方向寻找边缘点并进行椭圆拟合。为检测椭圆使用一种环形ROI工具,如图6所示,其搜索线是一组从外部边缘到圆心(或由内向外)的辐射状线条,沿搜索线计算边缘强度,将边缘强度的极大值作为边缘点进行后续的曲线拟合。

图6 环形ROI工具示意

计算边缘强度使用的一维模板是一阶梯度傅里叶变换的局部近似,其内核长度可以根据边缘粗细来选择,文中取[-2,-1,0,1,2]。为消除噪声的干扰,需要对垂直于搜索方向进行去噪处理,以提高抗噪性能。在计算每个点的边缘强度前先沿着垂直于搜索方向上指定宽度计算该范围内的均值,基于该均值沿搜索方向使用上述模板计算模板中心对应像素点的边缘强度。具体流程如下:

(1)设置环形ROI区域,环形中心为模板匹配结果所得中心,设置内径和外径稳定包裹所提取边缘;

(2)设定搜索线条数,一般情况下,搜索线数目越多所提取边缘点越多,拟合椭圆越精确,但速度会降低;

(3)沿着垂直于搜索方向上指定宽度计算该范围内的均值;

(4)使用模板[-2,-1,0,1,2]沿搜索线计算边缘强度,将边缘强度绝对值最大点设为边缘点。

所提取的铰接孔内圆边缘点结果如图7所示。

图7 边缘点提取

2.4 椭圆拟合

上述方法可实现快速提取铰接孔边缘点,但由于铰接孔表面较粗糙会提取到少量离群点。使用最小二乘法拟合椭圆会将离群点叠加到最终的计算结果上,导致计算产生偏差。RANSAC算法即随机抽样一致算法,是由FISCHLER和BOLLES在1981年最先提出的对于从若干数据点集中拟合一条直线的方法,它能应对大比例的野值,是一种效果优良的鲁棒估计算法。为剔除离群点对椭圆拟合算法进行优化。基于RANSAC算法,设计椭圆拟合方法具体步骤如下:

(1)将已得到的椭圆边缘点坐标记为数据集,设定合适的像素半径阈值为、最低拟合值为或循环次数为;

(2)随机从中选择5个点,3个不共线的点和另外两个点可确定一个椭圆;

(3)根据像素半径阈值,沿着椭圆两边所划定的有效像素范围剔除范围外的点;

(4)基于保留下的拟合椭圆,并计算椭圆的拟合值:

(5)

其中为平均平方距离:

(6)

(5)重复步骤2—4,连续剔除外点,直到拟合值达到或循环次数达到。基于剩下的内点使用最小二乘法拟合椭圆,得到最终椭圆拟合方程:

+++++=0

(7)

拟合结果如图8所示。

图8 椭圆拟合结果

该方法可准确拟合出铰接孔内圆,从而得出铰接孔圆心的像素坐标,根据相机标定结果可将像素坐标转换为实际坐标,实现钢拱架铰接孔定位。

3 实验方案与结果

为验证检测算法的稳定性和精度,需要对检测结果进行验证。机械臂抓取钢拱架进行拼接时,其中一个钢拱架位置固定,抓取另一个钢拱架移动靠近完成拼接,所以需要对钢拱架移动距离进行测量。故将钢拱架置于高精度移动平台上(如图9所示),使铰接孔移动已知的固定距离,模拟机械臂抓取钢拱架移动过程,由检测算法测量出移动前后的坐标并计算出移动距离,同时与实际移动距离比较。

图9 高精度移动平台

具体实验步骤如下:

(1)对相机进行标定,将圆点标定板置于铰接孔表面的同一平面内,使用LabVIEW的标定助手来进行点距标定;由标定助手可得出相机参数、畸变参数以及像素当量,根据标定结果可以得出像素坐标与世界坐标之间的转换关系;

(2)运行程序采集图像,检测出两个铰接孔圆心的世界坐标;利用两轴移动平台,将铰接孔横向移动4 mm,检测移动后的圆心世界坐标,从而计算出移动距离,继续移动10次计算移动距离;重复步骤2,分别移动8、12、16 mm。

按照以上实验步骤操作,测量结果如图10、图11所示。

图10 左铰接孔圆心移动 图11 右铰接孔圆心移动

同时,对误差进行分析,可得表1、表2。

表1 左铰接孔移动距离测量误差

表2 右铰接孔移动距离测量误差

由以上实验结果可知,当钢拱架铰接孔位于视场范围内时,各个位置均可稳定高效检测,移动距离的测量误差在±0.2 mm内,相对误差在1.1%以内,可以实现钢拱架铰接孔的精确定位。

4 结语

针对钢拱架拼接过程中位姿测量问题,采用了基于机器视觉的定位测量技术。首先,通过图像采集系统获得高品质的图像,减少特征点提取过程中图像处理步骤,减少后续处理的复杂度;然后,通过模板匹配算法确定感兴趣区域,并通过一维灰度梯度变化提取边缘点,使用RANSAC算法拟合椭圆,确定铰接孔圆心的像素坐标;最后,通过相机标定结果获得铰接孔中心的世界坐标,实现了对钢拱架位姿的非接触实时检测,测量移动距离相对误差在1.1%以内,检测效率可满足工业实时定位的需求。所提出的方法为其他领域的圆形结构检测提供了参考,可以用于工业现场的在线检测。

猜你喜欢

圆心椭圆边缘
b=c的椭圆与圆
巧用点在椭圆内解题
用两圆有公共点的充要条件解题
一张图看懂边缘计算
椭圆的三类切点弦的包络
参考答案
极限思想在椭圆问题中的应用
四种方法确定圆心和半径
圆心仍对应圆心吗
在边缘寻找自我