朱加雷，金嘉怡，乔 溪，董俊杰，国季萱，车 飞，宋怡秋

(北京石油化工学院机械工程学院，北京 102600)

0 前言

工业焊接机器人在进行中厚板大型结构件焊接时，由于结构件一般具有尺寸大、板材厚、母材规格多、工件加工组对精度低、焊缝质量要求高和焊接工艺复杂等特点，并且焊缝的位置和宽窄一致性不高；在焊接过程中，先焊合的焊缝产生的变形会作用在工件上，使后焊合的焊缝偏离组对时的位置，为了保证焊接质量，要求机器人能够在焊接时自动找准焊缝位置和焊接方向，焊接中厚板的机器人系统都会带有焊缝跟踪功能。同时，由于焊接工件尺寸庞大，焊接初始起弧点位置也很难通过操作人员目视确定，而目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大限制了机器人的应用[1]。

视觉在人类认知世界的过程中扮演了很重要的角色，同时视觉也为人进行复杂作业提供了充分信息。基于机器视觉的研究是当前机器人领域的热点之一[2]。利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，可节约大量的编程时间，提高生产效率和加工质量。

目前立体视觉技术在外太空探测（火星车）、海洋工程（钻井平台切割）方面均得到广泛应用[3-4]。其基本原理是根据目标物体的图像获取目标物体的轮廓形状来计算其位置信息，并将这些信息规范化处理后送给机器人系统。机器人系统根据规范化的目标物体空间坐标对机械手进行运动轨迹规划，控制机械手靠近目标物体并实施操作。在这个过程中，目标物体的位置信息自动化计算是最重要的环节，而立体视觉图像匹配技术为解决这个难题提供了方法[5]。

本研究将立体视觉技术引入到工业焊接机器人遥操作领域，建立了工业焊接机器人遥操作实验环境。利用立体视觉图像匹配技术，获取了目标的结构和属性等信息，为在复杂的环境中进行工业机器人空间定位提供了依据，提高了遥操作的效率和可靠性。

1 试验系统

为进行基于视觉的工业焊接机器人空间定期技术研究，建立了相关的试验系统，包括视觉系统、控制系统、通信系统、焊接电源系统、离线编程系统、遥操作人机交互界面等。系统的运行主要通过遥示教来实现：引弧之前，在立体视觉系统协助之下，视觉系统通过观测焊接目标，计算出目标与机械手坐标系的相互位姿关系，并通过网络将此位姿关系传送至监控计算机和图形工作站。然后通过遥示教，首先生成机器人遥控焊接任务程序，随后手动控制进行自由运动区高速宏观引导、受限运动区的低速引导定位；焊接区定位之后开始引弧，弧光影响下视觉反馈受到限制，通过激光焊缝跟踪系统实时纠偏自主控制进行焊接。同时可以通过视觉系统监视焊接过程的进行，当一切正常的时候，操作者不参与到焊接过程中；如果发生异常，如将要发生碰撞、焊接过程中断等，操作者可以快速的参与到焊接过程中，采取必要的控制行为，如立即停止机器的运行等。

2 关键技术

2.1 摄像机标定

摄像机成像分为三个阶段：第一个阶段是空间点坐标从世界坐标系变换为摄像机坐标系。第二个阶段是空间点坐标经过镜头的射影变换转化为像点坐标，在这个过程中由于光学系统的畸变误差，会使像点坐标产生一定的畸变，从而对最终的图像造成一定的畸变。为了校正畸变，对应不同的校正方法，人们提出了许多不同的校正模型。第三个阶段为图像的形成，通过CCD完成。CCD每个像素在x和y方向上分别有着确定的物理尺寸dx和dy，表示一个像素为多少毫米，这两个参数近似相等，但由于制造精度的问题，有一定差异。同样的，CCD的坐标轴的夹角接近90°，但不是完全垂直。

摄像机定标的目的就是确定透视投影矩阵，共有11个独立的参数需要确定。系统采用张正友的定标方法，利用单应性矩阵进行摄像机标定，公式如下

■

■

式中 单应性矩阵H=A[r1r2t]。

单应性映射H反映的是在模板平面上的点和它的像点之间的关系，如果模板点的尺寸已知，那么就已知m和M，可以求解单应性矩阵H。在求取单应性矩阵后，可进一步求得摄像机内参数。H可写成

最后利用内参A和平面投影变换矩阵H，对每幅图计算它的外参数。

下面来推导理想情况下的摄像机成像公式

式中 [xw，yw，zw，1]T为空间点的世界坐标系齐次坐标；[xc，yc，zc，1]T为空间点的摄像机坐标系齐次坐标；R和T分别为旋转矩阵和平移向量。

结合内参数和外参数，像点坐标将转化为像素坐标

式中 [u，v，1]T为像点的图像像素坐标系齐次坐标；（u0，v0）为摄像机光学中心在CCD成像平面上的投影位置。

经上述方法，根据摄像机各参数，建立了空间点与像素点之间的联系。因此可以根据检测到的点坐标，进而求得摄像机的焦距f、物理尺寸dx和dy、主点位置（u0，v0）、纵横坐标轴的夹角 θ。

总的来说，在理想前提下，用于世界坐标系向摄像机坐标系转换的三个旋转角和三个平移量参数为外参数，总共为六个未知量：摄像机的焦距f、物理尺寸 dx和 dx、主点位置（u0，v0）、纵横坐标轴的夹角θ，加起来也是六个未知量。但是，将成像第二阶段和第三阶段的公式中的矩阵合并到一起，通过简单的变量替换，可以将六个内参数化为五个内参数。

令α=f/dx，β=f/（dy·sinθ），γ=-fcotθ/dx，则最后的成像公式可变为

因此，理想情况下摄像机定标就是要求解这内外总共11个未知量。

2.2 图像特征点提取

在图像的特征点提取上，采用基于图像灰度的Harris角点检测方法。该方法提出了角点相应函数M，通过计算M中局部最大值得到角点。检测时使用梯度自相关矩阵来寻找图像灰度梯度在多于一个方向上有很高数值的像素。检测算子为

式中 Ix为图像沿x方向上的梯度；Iy为图像沿y方向上的梯度；G′（s）为平滑算子。可以计算出区域内每个像素点的N矩阵。而角点响应函数M为

式中 det为矩阵的行列式；tr为矩阵的迹。M中每一点的元素值对应于原图相应点的兴趣值，则M的局部极大值所在点即为角点。

2.3 立体视觉匹配算法

设计了一种基于像素高度差的外极线约束快速匹配算法，结合模块匹配和特征匹配技术，通过计算角点的互相关度，同时根据Harris角点检测可以定量选择角点数量的特点，计算出像素最大高度差，依据像素最大高度差和外极线约束进行匹配，在匹配效率和速度上均得到提高。

2.3.1 互相关度

在信号处理中经常要研究两个信号的相似性，或一个信号经过一段延迟后自身的相似性，以实现信号的检测、识别与提取等。相关函数是描述随机信号的重要统计量。相对其他的匹配准则，归一化互相关系数因为其对信号强度和等级不敏感而有更好的健壮性。

假设有待匹配角点图像(M×M）与模板角点图像(N×N，N通常为奇数），归一化相关系数定义为s（u，v）=

式中 u，v=0，1，…M-1；F（u＋x，v+y）为待匹配角点图像在（u＋x，v+y）位置上的像素灰度值；f（x，y）为模板角点图像在（x，y）位置上的像素灰度值；Fu，v为F在（u，v）位置上与模板图像同样大小的区域内的平均灰度值；f为模板图像的平均灰度值。s（u，v）构成了一个相关平面，在匹配位置将出现峰值，峰值一般接近1。

2.3.2 匹配算法

首先根据外极线约束进行图像校正，然后利用校正好的图像进行快速匹配。

极线约束是指对于空间任意点P，在摄像机C1中的像点P1，在摄像机C2中成像的对应点只可能位于一条特定的被称为极线的直线上l2。由于是平行摄像机的设置，但设备在运行时不能保证图像完全平行，图像会有相应的像素高度差，通过上面计算，可以得到相应搜索区域。这样，极线约束准则一方面将空间点P在摄像机C1中的成像点P1在另一幅图像上可能匹配点的分布从二维降到了一维；另一方面利用极线几何约束缩小匹配搜索区域，有利于提高匹配算法的速度和精度。

具体的配准步骤为:

（1）分别将参考图与待配准图进行平滑滤波去除噪声，得到参考图I1和待配准图I2。

（2）将I1、I2利用Harris角点检测算子进行检测，并记录各个角点坐标。

（3）分别以各角点为中心点，在I1、I2中选择矩形区域。

（4）以参考图I1中的角点为起始点，对于待配准图I2中符合外极线约束的角点，计算归一化相关系数S。

（5）选择S的最大值所在的点为配准点，记录配准点集。

（6）同理记录I2配准I1的配准点集。

（7）对比两组配准点集，选取两组配准点集的交集，即为匹配角点。

2.4 数据通讯

系统通讯主要包括两部分：（1）远端部件（机器手、摄像头）与后台系统之间的数据通讯；（2）图像匹配与预测子系统和主控系统的通讯。

2.4.1 远端部件（机器手、摄像头）与后台系统之间的数据通讯

采用千兆网传输。由于千兆网是一种快速以太网，其数据传输速率达1 Gbps，仍采用CSMA/CD的访问控制机制并与现有的以太网兼容，因此传输图像等大量数据具有很大优势。采用基于双绞线802.3ab布线标准，使用四对五类UTP，最大传输距离100 m，因此方便在大型工件及特殊环境中传输数据。

2.4.2 图像匹配与预测子系统与主控系统的通讯

图像匹配与预测子系统和主控系统的通讯之间的通讯主要是将监控系统发出的动作命令、机械手的各关节值和探针两端点的三维坐标值传至视觉系统，并且视觉系统将计算出来的定位信息和位姿校正数据等信息传至主控系统。视觉系统与主控系统之间的通讯采用客户服务器方式，主控系统作为服务器端，视觉系统为客户端，两者借助于WinSock工具以TCP方式进行连接，通讯周期200 ms。

3 实验设计及结果

以Visual studio2005为开发平台实现算法，通过两幅图像之间的匹配结果对算法进行检验。实验使用奥地利IGM六轴弧焊机器人RTI-330AC，该机器人最大承重15 kg，重复定位精度±0.1 mm，偏置式第6轴设计。立体视觉设备采用微视MVC360-GE60高清晰CCD数字摄像机。摄像机的数字接口是千兆以太网，相机具有连续采集和异步复位两种方式；工作在连续采集方式时，最高帧率达到60 fps，实验设备如图1所示。

摄像机标定的结果如下：

根据外极线约束进行快速匹配和传统平配的对比如表1所示。

图1 实验设备

表1 快速匹配与传统平配对比

4 结论

设计了一套基于视觉反馈的工业焊接机器人定位系统，对遥焊接中的摄像机标定、图像匹配、数据通讯等关键技术进行了研究，针对焊接目标二维图像设计了实验并进行了匹配，从实验结果可以看出：能够提取数量相对较多的特征点，保持了很高的匹配正确率和速度，图像匹配的实时性可以根据实际情况选择适当的阈值来实现。数据的传输能够满足遥操作的要求，为遥操作工业焊接机器人在复杂环境中的应用提供了保障。

：

[1]廖万辉，李 琳.基于机器视觉的工业机器人定位系统[J].机器人技术，2009，25（3-2）:242-244.

[2]王 京，王纪东，李金义，等.基于视觉定位的机器人焊接系统[J].制造业自动化，2010，32（8）：159-162.

[3]Hosseini-Suny K，Momeni H，Janabi-Sharifi F.A modified adaptivecontrollerdesignforteleoperation systems[J].Robotics and Autonomous Systems，2010，58（5）：676-683.

[4]Carolina Passenberg，Angelika Peer，Martin Buss.A survey of environment，operaor，and task-adapted controllers for teleoperationsystems[J].Mechatronics，2010，20（7）：787-801.

[5]Mark Whitehorn，Tyrone Vincent，Christian H.，et al.Stereo vision in LHD automation[J].IEEE Transactions on Industry Applications，2003，39（1）：21-29.