葛文琦,陆 艺,郭小娟

(中国计量大学 计量测试工程学院,浙江 杭州310018)

在单目手眼视觉标定中已有很多学者做过研究,如张正友、TSAI[1]等,这些方法都需要借助外界标准物来标定手眼关系[2-3],标定过程较繁琐。因此，在视觉装配工业场景中引入无标定技术,其核心就是在未知手眼关系的情况下,借助视觉反馈误差控制机器人运动完成特定的定位或追踪的任务。针对该技术的应用如利用图像雅克比矩阵来求解映射关系[4],该方法在目标和相机同时进行运动的场合应用存在一定局限性;利用神经网络成功逼近逆图像雅克比矩阵[5]的方法无需求解雅克比矩阵元素,但是，由于雅克比矩阵在局部工作范围内有效的固有缺陷,难以应用于动态跟踪情形;由苏剑波等人提出的运用神经网络视觉控制技术完成对二维平面目标的定位与抓取,这种方法实验仿真结果良好。但是用在实际实验中,需要考虑PID控制中的经验参数,以及神经网络的训练值,它们的获取需要大量的离线训练样本,实验过程较繁琐且定位误差会随训练值的误差叠加。本文采用eye-in-hand[6]的视觉模式,在手眼关系以及相机模型未知的情况下,通过已知的场景信息,定位过程中对目标的图像坐标位置与世界坐标位置关系进行处理,得到目标点的世界坐标,以完成目标产品定位与装配的任务。

1 视觉装配实验平台设计

本系统装配产品为RS-422/485和RS-232至宽温转换器外壳,产品外观尺寸如图1(单位:mm),要求质心定位误差≤1 mm。

图1 产品尺寸图Figure 1 Product size drawing

为实现产品的装配实验,搭建了一套手眼系统视觉平台如图2。本文中工业机器人选用重复定位精度为±0.03 mm的7A6六自由度机器人;视觉模块部分选用分辨率为1 024×1 248面阵工业相机与环形光源;控制执行机构部分用的是伺服电机及其驱动器来驱动输送线进行运动;双轴气缸用来执行产品的搬运任务。

图2 手眼系统实物图Figure 2 Physical map of eye-in-hand system

2 无标定算法

图3 系统映射关系模型Figure 3 System mapping relational model

根据系统映射关系模型,将工业相机安装在工业机器人的末端执行器上,并且保证相机光轴和工作台平面垂直。通过工业相机中反馈的视觉信息,对平面目标进行定位。与此同时，将机器人的基坐标系作为世界坐标系,此时坐标原点在机器人底座的中心,机器人末端执行器的中心点在世界坐标系的位置即为末端执行器坐标。工业机器人内部的标定在出厂前已完成,末端执行器在世界坐标中的位置可以通过内部传感器实时得到,即通过手持操作器读取。

相机坐标系与世界坐标之间的关系可以用旋转矩阵R与平移向量T来表示[8-9],其中R为3×3正交旋转矩阵,T为三维平移向量,空间世界坐标中点P(xw,yw,zw)与相机坐标系中点P(xc,yc,zc)存在如下关系:

(1)

(2)

根据小孔成像模型知,图像平面坐标Pi(xi,yi)T与相机坐标Pc(xc,yc)T存在如下关系:

(3)

式(3)中:f表示相机焦距,z为相机z轴方向坐标值。

联合式(2)、(3)可得到图像平面坐标与世界坐标系的表示形式如式(2～4)所示,该式作为无标定算法的基础。

(4)

(5)

(6)

(7)

将式(5)减去式(6)得到式(8)如下:

(8)

则由式(8)可以得到式(9),其中R为正交矩阵,由矩阵性质知,矩阵可逆。

(9)

由式(7)减去式(5)得到式(10):

(10)

将式(9)式带入到式(10)中可计算出待求坐标,计算表达式如式(11)所示:

(11)

3 标定实验

根据所述的无标定算法进行实验,测量算法的定位情况。在已知视场内选取场景中的两点A、B,由于无标定算法中没有考虑相机的畸变问题,所以A、B两点的选取应尽量选择在视野的中心位置以减少镜头畸变带来的影响。先测绘出已知世界坐标的A、B两点,并记录两点的坐标,通过图像处理计算出A、B两点的像素坐标以及目标点的像素坐标。根据无标定算法计算出目标点的世界坐标。实验步骤如下。

表1 无标定定位结果Table 1 Uncalibrated positioning result

根据以上50组数据,得到x方向平均定位误差为0.41 mm,y方向的平均定位误差为0.42 mm,测量平面坐标点的平面定位误差为0.61 mm,最大误差为0.85 mm,如图4所示的x轴、y轴以及平面的定位误差曲线,由图知定位误差为0.9 mm,能够满足定位系统工业装配要求。

图4 无标定算法定位误差Figure 4 Uncalibrated algorithm positioning error

4 实验结果及分析

4.1 装配实验

在进行装配实验前需要对相机获取到的产品图像进行算法处理[10-11]以获得产品质心的坐标。质心提取流程图如图5。

图5 产品质心坐标获取流程图Figure 5 Product centroid coordinate acquisition flow chart

实验过程中机器人路径示意图如6,其中P1、P4、P5为离线示教点,P1表示静态拍照原点,P4表示上盖放置位姿,P5表示下盖放置位姿,P2表示抓取时的位姿,P3表示补偿偏转角度后的位姿。具体实验步骤如图7。

图6 机器人运动路径示意图Figure 6 Robot motion path diagram

图7 装配过程流程图Figure 7 Assembly process flow chart

为测试该方案的可靠性,对系统进行全天候的测试实验,其中上下盖产品随意摆放,通过算法处理实时记录抓取时的质心坐标(x,y)和偏转角度,并记录装配成功与否。实验记录情况如表2,由于篇幅有限,只列举出其中100次实验数据。由表2可以看出,系统经过全天候的运行测试,产品上下盖装配成功率为100%,表明该静态场景装配方案实施运行可靠性良好,满足工业应用场景需求。

表2 装配实验数据Table 2 Assembly experiment data

4.2 不确定度评定

系统的不确定度可以通过A类和B类两种评定方法进行评估[12],本系统测量不确定度分量分别来源于系统重复性定位误差和机器人重复定位误差。目前不确定度影响最为主要是机器人重复定位精度。其中系统重复性定位误差引起的不确定度分量可通过即A类评定方式进行评估。机器人重复定位误差引起的不确定度分量采用B类评定方式。两种不确定度分量合成系统的标准不确定度。

1)机器人重复定位不确定度

根据7A6机器人出厂指标知其重复定位精度为±0.03 mm,采用B类评定方式的重复性定位误差的标准不确定度可由uB表示:

(12)

2)系统重复性定位实验

系统重复性定位误差采用A类评定方式,可以用下式表示:

(13)

式(13)中:xi表示单次测量结果,s(xi)表示标准差,C表示极差系数,R表示样本间极差。

系统重复性实验过程如下,保持产品位置不变,根据无标定算法计算产品质心坐标重复9次定位,质心坐标与偏转角度信息记录在表3中。

由表3数据得Rx=0.32,Ry=0.26,n=9时C=2.97,根据式(13)得到重复性引起的不确定度uAx=0.108 mm,uAy=0.09 mm。由于z轴方向是通过获取机器人示教器显示的笛卡尔坐标系的z轴坐标值,因此不考虑Z轴方向的不确定度。由上可得合成不确定度uA:

(14)

将式(12)得到的uB与式(14)得到的uA合成得到标准不确定度uc:

(15)

则根据式(15)得到系统合成不确定度uc=0.14 mm,小于质心偏差指标,满足装配要求。

5 结 语

本文搭建了一套基于手眼系统的视觉装配实验平台,引入了无标定算法并将其应用于产品装配。实验数据分析表明,在实验环境下该无标定方法视觉定位误差为0.9 mm,实验装配成功率为100%,能满足工业装配应用要求。