陆 艺，郭小娟，郭 斌，沈添秀

(1.中国计量大学计量测试工程学院，浙江 杭州 310018; 2.杭州沃镭智能科技股份有限公司，浙江 杭州 310018)

0 引 言

在机器视觉中常将相机固定在工业机器人末端执行器上，这种配置相当于将“眼”放在“手”上，相比于“眼”放在“手”外的配置有很好的灵活性，机器人可以在运动中观察物体与手之间的偏差，并将其作为调整方向的参考数据，逐渐调整手的运动方向，从而实现视觉定位。手眼系统标定包括相机标定和手眼关系标定，因为系统标定的精度将直接影响系统定位的精度，所以手眼标定是解决手眼视觉定位的关键内容，也是手眼问题的核心。传统的标定方法主要有：Tsai两步标定法[1]，自标定方法[2]，双平面标定法[3]，张正友标定方法[4]等，其中张正友的标定法具有精度较高，适用场合广泛等特点，在实际生产环境中得到广泛的应用。所以本手眼系统标定引入了张正友标定方法，与张正友标定方法使用棋盘格标定板作为校准物不同，此处使用圆点标定板，其特征点可采用圆拟合算法快速计算。相机从多个角度采集多幅标定板图片进行相机内外参数标定和手眼标定。在标定过程中需要在每个角度进行一次相机标定，以获取不同位置相机内外参数，来提高手眼标定的精度。

1 视觉装配实验平台总体结构

根据工业应用上产品装配的需求，设计了手眼系统视觉装配实验平台，整体结构包括台架（两条输送线），机器视觉模块，控制执行机构，其中视觉模块构建模型如图1所示。

图1 视觉模块示意图

为满足系统产品装配定位精度为0.8 mm的要求，视觉模块选用分辨率为1 024×1 248,像素精度为0.093 mm的面阵工业相机，为保证产品光照均匀选用环形光源，工业机器人选用重复定位精度为±0.03 mm的洋威公司六自由度机器人。控制执行机构选用伺服电机及其驱动器驱动输送线的运动，双轴气缸用来执行产品搬运任务，运动指令由上位机发送，手眼系统实验平台实物图如图2所示。

图2 手眼系统实物图

2 手眼系统标定

2.1 相机标定

相机标定是标定手眼关系的核心步骤，因此对相机内参和外参的确定十分重要。面阵相机模型是基于针孔成像原理建立的[5]，在成像模型中如图3所示包含相机坐标系OXcYcZc，图像物理坐标系XdO1Yd，图像像素坐标系XfO2Yf，世界坐标系O3XwYwZw。图像物理坐标系原点O1在图像像素坐标系中的坐标用（cx,cy）表示，用dx，dy来表示相邻像素点中心在x轴方向和y轴方向的实际物理距离，f为相机焦距。

图3 成像模型

世界坐标系中点P(Xw,Yw,Zw)与相机坐标系中点P(Xc,Yc,Zc)的变换关系用旋转矩阵和平移向量来表示如式(1)所示，其中组成了相机的外部参数。

在不考虑镜头畸变的情况下，根据小孔成像模型可用式(2)表示世界坐标系点P(Xw,Yw,Zw)与图像物理坐标系点(Xd,Yd)的转换关系：

相机镜头不可避免会存在畸变，一般考虑径向畸变，用一个参数k来模拟，将畸变图像平面物理坐标点(Xd,Yd)转换成未失真图像平面物理坐标点

综上可求得相机内部参数(f,k, dx, dy,cx,cy)和外部参数

2.2 机器人末端执行器坐标系与基坐标系的欧拉旋转变换

机器人的运动姿态往往由一个绕x,y和z轴的旋转序列来规定的，这种旋转角序列称为欧拉角[6-7]。欧拉旋转变换矩阵可以用3个旋转矩阵相乘来计算，其中矩阵乘法是非交换的，所以旋转次序很重要。根据旋转所绕轴次序不同，共分为12种不同类型的欧拉角，6种对称型欧拉角：zyz,zxz,yzy,yxy,xzx,xyx和6种非对称型欧拉角：zyx,zxy,yzx,yxz,xyz,xzy。本系统六自由度的关节串联型机器人，其控制柜中内建的运动模型为D-H模型[6]，坐标变换发生在直角坐标系中。该末端执行器坐标系与基坐标系空间姿态转换关系的欧拉角序列为zyx型，新旧坐标系变换关系用旋转矩阵表示，分别表示z,y,x方向的旋转矩阵，示意图如图4所示。

图4 欧拉角旋转示意图

图4表示末端执行器坐标系先绕z轴旋转角，再绕y轴旋转角，最后绕x轴旋转角，得到基坐标系，即欧拉变换：

由式(5)可计算出机器人末端执行器坐标系与机器人基坐标系的旋转矩阵的结果：

由以上可知，手眼标定之前须先确定机器人坐标系旋转矩阵的欧拉角序列次序。已知机器人末端执行器坐标系与基坐标系的关系，若求解出手眼关系，便可实现视觉定位。

2.3 手眼关系的求解

求解手眼关系就是确定相机坐标系与机器人末端执行器坐标系之间的关系的过程[8-10]，如图5所示控制机器人从位置1移动到位置2，用相机多次观察标定板，计算出相机坐标系与机器人执行器末端坐标系的位置关系。obj表示标定板坐标系（世界坐标系），camera表示相机坐标系，robot表示机器人末端执行器的坐标系。

图5 机械手运动位置

手眼关系方程为CX=XD，其中X表示手眼关系矩阵即是待求参数，C表示运动前后相机坐标系的相对位置关系，D表示运动前后机器人末端执行器坐标系的相对位置关系。则该手眼关系方程可用旋转矩阵R和平移向量T来表示：

根据式(7)可得：

Rc，Tc分别是C关系下的旋转矩阵和平移矢量，Rd，Td分别是D关系下的旋转矩阵和平移矢量，Rc，Rd为 3×3 正交单位矩阵[6-7]。

由相机在1，2两个位置处相机外参数A，B，可计算出C=AB-1；由1，2两个位置处机器人输出位姿可求解出D。机器人末端执行器移动前后，相机与其相对位置不变，可得到如下关系式：

其中Rc1，Rc2和Tc1，Tc2分别是末端执行器在位置1和位置2时C关系下的旋转矩阵和平移矢量，Rd1，Rd2和Td1，Td2分别是末端执行器在位置 1和位置2时D关系下的旋转矩阵和平移矢量。控制机器人两次运动的旋转轴不相互平行，取得R的唯一解：

式中ec1，ec2，ed1，ed2分别是Rc1，Rc2，Rd1，Rd2旋转轴的方向向量。

将式(14)代入式(12)和(13)中得到关于T的超定方程组，用最小二乘法求解出平移向量T的唯一解。求解出的R和T可转化为机器人笛卡尔坐标系的表示方式（tx,ty,tz,rx,ry,rz），其中tx,ty,tz分别表示在x,y,z轴方向的平移量，rx,ry,rz分别表示绕x,y,z轴的欧拉角，（tx,ty,tz,rx,ry,rz）即为求解出的手眼关系。

3 Halcon平台上软件设计的实现

在Halcon平台上运用张正友标定方法选用7×7圆点标定板作为校准物体，标定时世界坐标系的原点建立在中心圆点圆心位置。空间上6个以上特征点即可以求解出相机的内外参数，该标定板上有49个已知特征点，可采用最小二乘法求解以降低误差影响。标定板最佳选择方式是其大小占据视野的1/3～1/4。在本实验平台中，物距为300 mm，视场范围约为130 mm×110 mm的条件下，选用有效面积为40 mm×40 mm的陶瓷标定板，如图6所示。

图6 7×7圆点标定板

根据D-H法创建六自由度机械手的手眼数标定模型，手眼系统标定流程[11]如图7所示，相机每采集一张图片就在相对应的视野下进行一次相机标定，由式(2)可知，实时计算相机内外参可以减小求解手眼关系矩阵中由于焦距的影响带来的计算误差并能减小求解手眼关系过程中的叠加误差。

4 实验结果及分析

4.1 实验数据

实验得到的手眼关系（tx,ty,tz,rx,ry,rz）如表1所示,tx,ty,tz为平移量，rx,ry,rz旋转量。

图7 改进后的标定流程

表1 手眼关系

由机器人末端执行器坐标系与基坐标系之间的转化关系和手眼关系，可计算出相机中以像素为单位表示的目标点在机器人基坐标系中的坐标表示，实现目标点的定位[12]。使用如下方法验证定位精度：机器人末端加探针获取平面上点并记录其坐标，然后利用手眼关系计算出获取点在基坐标系下的测量坐标，最后比较视觉系统测量坐标与机器人记录点的坐标差值，计算误差。在平面上随机取36个实验点，测量结果如表2所示。

用x方向误差Δx，y方向的误差Δy，和xy平面坐标点的误差Δl的平均值来分别度量x,y方向和平面上坐标点的定位精度，计算公式如下，n表示实验点数，e表示定位精度，Δ表示误差量：

由式(15)计算得到，x方向定位精度为0.129 mm，y方向的定位精度为0.173 mm，测量平面坐标点的定位精度为0.234 mm,最大误差为 0.543 mm，如图8所示的x,y以及平面的定位误差曲线，由图知定位误差小于0.6 mm。

表2 实验点的实测位置与视觉计算的位置

图8 定位误差

4.2 不确定度评定

整个手眼系统定位过程中存在不确定误差[13]，由硬件本身携带的误差包括陶瓷标定板误差±0.02 mm，机器人重复定位误差±0.03 mm，工业相机像素误差±0.093 mm；在图像处理中采用的算法不可避免会受到噪音的影响，一般会存在1个像素的误差。因此用不确定度来评估系统误差,它由各个不确定度分量合成，可表示为

5 结束语

本文搭建了一套基于手眼系统的视觉装配实验平台，对手眼系统进行标定并验证视觉定位精度。实验数据分析表明，在实验环境下该手眼系统视觉定位精度能达到 0.6 mm，高于系统装配精度0.8 mm，满足常规装配和分拣的视觉系统的实际需求，具有较广阔的应用前景。