余明岭,龚烨飞,刘 霞,刘继承,谷心浩,谢雨欣,3

(1.东北石油大学物理与电子工程学院,大庆 163318;2.常熟理工学院电气与自动化工程学院,常熟 215500;3.中国矿业大学信息与控制工程学院,徐州 221116)

0 引言

目前,大部分的焊接机器人仍然采用“示教再现”的工作模式,难以满足复杂多变环境中的生产要求,机器人焊接技术向自动化、智能化发展越发迫切[1]。视觉传感器以非接触性、信息丰富、精度高、检测速度快及适应性强等优点,被广泛应用于智能焊接视觉导引规划领域。其中面结构视觉传感器光成像面积广,一次拍摄可以得到工件表面的大范围三维数据,对于焊接过程的初始导引有着独特的优势。随着面结构光视觉传感器的发展,利用其获取工件表面三维点云,提取焊缝坡口特征的研究越来越多。角接、搭接工况下,通过提取出工件点云中平面信息数据[2-3],计算相邻平面的交线位置或求取两平面中的距离最小部分能够较好的提取焊缝特征部分。对于点云精度高、效果好、噪声少的工件点云,可以采用计算局部特征的方式提取焊缝[4-5]。王凯[6]根据点云最小包围盒插入线性平面,利用霍夫变换拟合切平面上的点,完成对焊缝特征点的提取。WU等[7]提出了一种将二维深度图像与三维点云融合的焊缝定位方法。王斐等[8]将焊件点云与离线CAD模型数据库中焊接模型匹配起来,利用点云位姿信息与模型库中定义好的焊接信息结合生成焊接轨迹,实现智能柔性的焊接操作。XU等[9]提出一种导弹气舵三维点云卷积神经网络分割模型,用于精确分割焊接工件点云,准确地获得气舵焊缝特征点。

基于点云处理的焊缝特征提取方法已取得了一定的研究成果,但也存在相应的局限性。比如依赖于点云数据质量精度高、噪声小;依赖于焊缝坡口的参数在一定的范围内或者依赖于先验离线焊接模型数据库,适应性不强。本文通过面结构光视觉传感器获取焊接工件点云数据,基于焊缝主方向等间距的点云切片投影,获得一组焊缝截面轮廓图像,最终完成焊缝坡口特征点的提取,并且以双边对接坡口和单边对接坡口两种工况中为实验对象,完成了多种情况下的特征提取实验,验证了该方法的可行性,并且在成像环境恶劣的工况下测试了该方法的鲁棒性。

1 实验硬件平台组成

如图1所示,实验系统硬件包括焊接工业机器人ABB-IRB1520id及其配套设施和面结构光视觉传感器WiSight 370P,相机与机器人采用眼在手上(eye-in-hand)的方式。视觉传感器主要任务式获取工件三维点云信息,工业机器人作为拍摄动作和焊接动作的执行主体。

2 坡口特征提取

本文针对单边对接和双边对接焊接两种工况的焊缝坡口进行特征提取,并根据坡口特点进一步将其细分为5种类型。

这5种类型包括无间隙的双边V型坡口、有间隙的双边V型坡口、未被遮挡的单边V型坡口以及因视野遮挡而无法获取垂直边点云数据的单边V型坡口。其中,无间隙的双边V型坡口包括直线焊缝和曲线型焊缝两种,两者在截平面上具有相同的特征,因此特征点提取方式相同。

2.1 等间距点云切片

如图2所示,为了提取焊缝特征信息,通过采用一组垂直于点云主方向的平面对点云数据进行截平面切片处理,以获得焊缝坡口的截面轮廓组。

图2 等间距切平面示意图

首先计算出去除背景后的工件点云的最小有向包围盒,得到其包围盒长方体的8个顶点,利用这些顶点信息规划等间距切片的方向和距离。假设X轴作为切割轴,通过顶点(Xmin,Ymin,Zmin),(Xmin,Ymin,Zmax),(Xmin,Ymax,Zmin),(Xmin,Ymax,Zmax)中取3个点确定初始切平面S1,间隔为δ,直到Xmax=Xmin+δ*n,可得到n+1组切平面序列。

数据点到切平面的距离小于阈值时将此点视为平面内数据,不同的距离阈值可以包含不同数量的点云数据。当阈值越大时,其包含的数据就越多,沿着焊接方向的跨度也越大,相应的计算量会增加。如图3所示,为平面间距为15 mm,切片厚度为0.4 mm的焊缝坡口点云切片序列。

图3 点云切片示意图

2.2 点云投影至二维图像

图4 点云投影至二维图像示意图

(1)

式中:opi为由原点o指向pi向量,npi为opi在投影平面法向量方向上的投影向量,n为投影平面法向量。空间点投影至切平面上的投影坐标为:

(2)

(3)

(4)

2.3 最大距离法粗提取

点云数据具有稀疏性,比较容易形成孔洞、毛刺等噪声,基于局部特征判断特征点的方式往往需要繁琐的预处理才能较好的运行[12],最大距离法基于焊缝曲线全局数据,将焊缝坡口形式、像素点位置等问题综合考虑,能够很好规避点云数据带来的处理困难。

通过背景滤除后,各类型的焊缝坡口切平面点云投影得到的图像如图5所示,4类焊缝都存在相同的基本特征点,即为左端点s、右端点e、坡口顶部拐点a和b、坡口底部点c。

(a) 无间隙双边坡口粗提取特征点示意图 (b) 有间隙双边坡口粗提取特征点示意图

以背景去除后的有间隙双边V型坡口为例,利用最大距离法进行特征点粗提取。首先通过列扫描得到左右端点s和e,再通过行扫描得到坡口最低点c。将c点与右端点e相连作为基准直线,比较焊缝曲线右边部分上各点到基准直线的距离Di,距离最大值所在点即为点b,最大距离法计算距离随焊缝坡口坐标变化曲线如图6所示。同理左边部分通过相同方法即可求得点a。通过最大距离法初步特征点后,为后续精细提取打好基础。

图6 最大距离法点到基准直线距离示意图

2.4 拟合求交法精提取

由于坡口打磨或工件本身的金属反光可能会强烈干扰面结构光视觉传感器的成像,工件点云数据可能受到影响,产生一定程度的噪声和变形,从而导致提取到的焊缝特征点并不准确。因此,如图7所示,在通过最大距离法获得特征点后,需要进一步提取精确的坡口焊缝特征点坐标。

(a) 无间隙双边坡口特征精提取 (b) 有间隙双边坡口特征精提取

(a) 金属反光导致点云孔洞 (b) 点云平面呈波浪纹状图8 鲁棒性测试数据示意图

首先,计算特征点a与c的横坐标差值,以及特征点b与c的横坐标差值。当这两个差值相近时,可以判断坡口属于双边坡口类型;而若两者相差较大时,则判断为单边坡口类型。

对于无间隙的双边对接坡口以及单边对接坡口,特征提取方法具有相似性。依据粗检测获得的基本特征点,将焊缝数据点粗略地划分为4个部分,通过最小二乘直线拟合每个部分的数据。然后,求取拟合直线的交点,即可得到焊缝坡口顶部两个精确特征点e、f及底部精确特征点g。

此外,针对存在间隙的双边坡口和缺少垂直边的单边坡口,需要进行进一步处理。双边有间隙V型坡口底部需要提取两个精确特征点m、n。通过交点g将L2和L3精确划分为L′2、L′3,对精划分后的两条直线进行列扫描,可以得到焊缝特征点m和n。

(5)

由于单边坡口在进行工件表面扫描时存在视野遮挡的情况,视觉传感器在一定成像角度下可能会导致焊缝坡口的垂直边缺少点云数据或数据较为稀疏,此时直接拟合的效果往往不理想。此时,通过点b和线L4的垂直斜率计算得到替代L3。然后,求取拟合直线的交点,从而提取出完整的坡口特征点坐标信息。

在投影二维图像上得到各类型焊缝坡口的特征点后,还需要通过重投影的方式转换为三维点云数据pi(xi,yi,zi)。先将二值图像中的坐标转化为投影平面中的位置为:

(6)

然后将投影平面上的坐标值重新投影到三维空间中,即可以得到由投影图像中提取的焊缝坡口特征点的空间中坐标:

(7)

式中:(xo,yo,zo)为投影平面原点的三维空间坐标,nx、ny是由平面投影坐标系的x轴与y轴方向向量。

3 实验结果与分析

为验证本文提出的算法识别准确性,使用WiSight 370P相机进行实际工件扫描,采集多种类型的焊缝点云数据,包括单边对接和双边对接焊接两种工况,并根据坡口特点进一步细分为5种类型,对各个类型的焊缝坡口进行了焊缝坡口特征实验。

实验中设置切平面序列之间的间隔为2.0 mm,每个切片的厚度0.4 mm,成功提取了各类焊缝的特征点信息,包括坡口顶部左右拐点、底部拐点。本文利用Cloud Compare工具人工选取焊缝特征,将人工标注数据视为标准结果,通过对比方法所得到的结果与标注结果,以偏离的距离误差作为衡量特征点提取的精度指标。所得结果如表1所示,每组数据是多个同类型点云数据特征提取精度的均值。实验结果表明,本文方法在不同类型焊缝坡口特征点提取任务上,多组数据平均误差与分布标准差均小于1.0 mm,证明本文方法具有较高的准确性和稳定性。

表1 不同坡口类型特征提取精度表 (mm)

由于实际中往往面对成像环境不理想、金属工件反光等问题,需要检测方法具有一定的鲁棒性,才能保证特征点提取的性能。为了检测所提出方法的鲁棒性,采用两种成像环境较为恶劣情况下所获得的点云数据来进行实验,一是由于金属焊件高反光,视觉传感器受到影响,造成点云数据存在相当多的噪声和空洞;二是由于面阵结构光成像问题,点云平面呈现波纹状起伏的情况。

针对上述两种情况,分别进行了实验,实验结果如表2所示。尽管点云数据质量的降低导致提取精度受到影响,但并未大幅度下降。这表明本文提出的方法具备较强的鲁棒性,能够在一定程度的恶劣成像环境中进行有效的特征点提取。

表2 成像不佳工况下提取精度表 (mm)

4 结论

本文提出了基于面结构光视觉传感器的焊缝坡口特征提取方法,首先将等间距的点云切片分别投影到二维图像中,基于最大距离法粗检测与拟合求交法精检测的方法,进一步检测出多种坡焊缝类型的特征点,实现了焊缝坡口特征点的完整提取。实验证明,本文提出的方法能够较好地提取多种类型的焊缝坡口特征点,平均误差小于1 mm,并且在金属反光、平面呈现波浪纹等成像效果不佳情况下也能具有较好的性能。