曹学鹏 樊 豪 冯艳丽 王德硕

（①长安大学工程机械学院机电液一体化研究所，陕西 西安 710064；②西安航天时代精密机电有限公司，陕西 西安 710100）

传统的焊接方法以人工焊接为主，在非标焊件中有一定的优势，不过也存在成本高、效率低以及对人体有害等缺点。焊接机器人具有效率高、非接触以及部署灵活等特点，在自动化焊接中起着关键作用[1]。

目前，焊缝的识别以及焊接路径规划大多依赖于操作人员的经验[2]，在机器人焊接作业中，广泛采用“示教-再现”的工作方式，但该方法缺乏对环境的感知，无法满足自动化焊接的要求[3]。某些焊接系统为了提高轨迹规划精度、减少焊接前准备时间，采用激光传感器采集焊缝坡口中心点坐标，但仍需要操作机器人示教器使焊缝坡口处于激光传感器的扫描范围内[4-6]。因此，采用传感技术，免除焊接路径规划中的示教环节，对于提高焊接系统的效率有着重要的意义。

机器视觉具有非接触、获取信息丰富以及结构简单等优点[7-8]，采用视觉识别焊缝是一种较好的自动化焊接方法[9]。在实际应用中，焊接现场存在光学干扰复杂、光照不均衡和坡口灰度值不一致等问题，导致图像中混杂大量噪声，增加了焊缝提取的难度。采用特定算法消除图像中的噪声并提取完整焊缝图像，成为采用工业相机进行焊缝识别及特征点提取的重要研究方向。

刘涛等[10]设计了一种基于被动双目视觉的环形焊缝定位与跟踪系统，通过霍夫变换提取ROI、运用最小二乘法拟合焊缝直线、利用双目视觉模型和基于极线的立体匹配方式计算焊点的空间坐标。范明洋等[11]提出一种基于线结构光的曲线焊缝焊接技术，通过中值滤波、ROI 区域提取、图像二值化、图像腐蚀和图像细化等操作得到条纹区域。通过三维重构得到基坐标系下的特征点，并利用B 样条曲线插值算法拟合曲线。潘海鸿等[12]利用激光视觉系统获得焊接工件的图像，利用焊缝特征点模型得到参考点信息，实现了多层多道焊接各焊道的路径规划。张国强等[13]搭建了双目立体视觉系统，解决了焊接过程中发生板件翘曲变形时无法对示教路线进行实时调整的问题。王天琪等[14]通过建立经过初始焊位点的直线方程，求取两条直线的交点，来确定初始焊位在机器人基坐标系下的三维坐标。

以上方法解决了部分工件的免示教问题，提高了焊接效率。但当现场光照复杂或当工件为复杂焊缝时，不能得到理想的结果。为免除焊接路径规划中的示教环节，本文通过图像处理算法，为机器人提供用户坐标系下的特征点。本文采用双边滤波作为图像预处理方法。采用Sobel 算子提取边界并标记完整焊缝。运用闭运算填充细小孔洞并连接间断的轮廓线。采用轮廓跟踪滤波消除图像上的细小噪声，完成焊缝轮廓的精确提取。运用相机标定的结果将从图像上提取的特征点转换到用户坐标系下。最后通过实验测试焊缝提取和特征点提取效果，分别验证焊缝提取算法的有效性以及特征点提取方法的准确性。

1 基于视觉检测的机器人焊接平台

针对薄板平面对接焊缝的自动化焊接需求，设计基于视觉检测的机器人自动焊接系统。该系统包括相机、视觉处理单元、光源、操作台以及电源等。相机采用海康威视MV-CE200-10GC 2000 工业相机，分辨率为5 472×3 648，视觉处理程序基于C#.NET框架，采用C#语言开发并在i7-6700CPU 上运行。焊接机器人采用西安航天精密机电研究所自主研制的20 kg 六关节串联机器人。该系统组成如图1 所示。

图1 自动焊接平台

相机固定在工件上方，与操作台的位置保持不变。图2 所示为相机所拍摄的放置在工作台上的工件照片，本文的方法为通过特定算法，从相机拍摄的原图中识别并定位焊缝，提取机器人用户坐标系下的特征点，并完成路径规划。

图2 相机拍摄原图

具体流程：通过预处理获得平滑图像，并尽可能地抑制噪声；采用梯度算子标记图像上梯度高于特定值的像素；运用闭运算填充细小孔洞，增强算法的鲁棒性；最后借助轮廓跟踪滤波消除图像上微小的噪声，获得仅存在焊缝轮廓的二值图像；采用相机标定结果，将特征点转换到用户坐标系下；运用平滑样条插值法完成路径规划。

2 图像预处理

2.1 双边滤波

图像中包含的纹理和细节会对边缘检测造成困难，因此在检测边缘前应先平滑图像。常用的图像平滑方法有均值滤波、高斯滤波、中值滤波和双边滤波等[15]。双边滤波不仅包含像素在空间距离上的关系，同时也考虑像素间灰度值的相似性，能在消除图像上噪声的同时，较好地保存边缘。双边滤波模板中的权重系数可表示为

式中：f(i,j)、f(k,l)为像素的灰度值；σd为坐标空间标准方差；σr为灰度空间标准方差。

2.2 二值化

图像的边缘是图像最基本的特征，是灰度不连续的表现。梯度算子可以检测出图像中各像素的梯度，对梯度图像二值化即可检测出有效的边缘。

常用的梯度算子有Robert 算子、Sobel 算子和Laplace 算子等。四方向Sobel 算子计算量小、运行速度快，对噪声的抑制效果较好[16]，因此本文采用四方向Soble 算子计算梯度图像。

图像二值化时，阈值选择过高，将造成焊缝部分缺失。本文的阈值采取经双边滤波后图像的平均灰度值，该值由计算机程序计算得到。使用该值作为阈值，可以在消除大量噪声的同时，标记出完整的焊缝。图3 所示为不同光照条件下，工件图像的二值化处理结果，由计算机程序得到的阈值分别为：34、15 和5。

图3 不同光照条件下的二值化结果

3 焊缝完整轮廓的提取方法

从图3 可见，虽然图像已经过平滑处理，但在二值图像上，仍存在许多噪声。

传统的滤波方法很难在消除所有噪声的同时，标记出完整的焊缝。改进Canny 算子是一种较好的边缘检测算法[17]。使用改进Canny 算子处理图2 得到的结果如图4 所示。观察A 区域，焊缝周围出现假边缘，且焊缝不连续；观察B 区域，图像上仍存在较多噪声。

图4 改进Canny 算子结果

3.1 闭运算

采取闭运算处理图像，以填充细小孔洞，消除细小毛刺，连接间断的轮廓线。闭运算可看作对图像先进行膨胀运算，再对图像完成腐蚀运算，其定义为

式中：X为图像；S为结构元素；⊕为膨胀运算；⊕为腐蚀运算。本文先采用3×3 的矩形算子进行膨胀运算，后采用1×3 的矩形算子进行腐蚀运算。

3.2 轮廓跟踪滤波

轮廓跟踪是在二值图像上按逆时针或顺时针方向进行边界跟踪提取的过程。通常采用通用性更高的8 方向码进行轮廓跟踪。

对二值图像上的像素按以下规则分类：

（1）若某像素为黑色像素，记为0 型像素。

（2）若为白色像素，且其上、下、左、右4个像素均为白色像素，则记为0 型像素。

（3）若为白色像素，其上、下、左、右4 个像素中存在至少1 个黑色像素，则记为I 型像素。

图5a 所示为一个有孔洞的噪声，图中◆像素为当前点，★为下一边界点，○为已跟踪轮廓点。

图5 对有孔洞噪声轮廓跟踪的过程

从左到右逐行扫描图像，寻找轮廓跟踪起始点，如图5a 中◆像素所示。从起始点的左下位置开始，逆时针方向搜索，第一个I 型点，就是下一个边界点。

图5b 为轮廓跟踪中间步示意，图中◆像素为当前像素。以当前像素为中心，从上一个边界点开始逆时针方向搜索到的第一个I 型点即为下一个边界点，如图5d 中★像素所示。

孔洞边界的跟踪如图5c 所示，通过对像素点的重新定义，可使用相同的方法跟踪孔洞边界。跟踪结果如图5d 所示，至此，噪声的内外边界均得到标记。

对图5 某一特征而言，从其某一边界点(x,y)出发，沿着边界搜索前进，经过一定的步数，总能回到起始点(x,y)，称该步数为搜索步数。经过闭运算后，焊缝的搜索步数远大于噪声的搜索步数，可利用该特点区分焊缝与噪声。

4 特征点的提取方法

4.1 像素坐标系下特征点的提取方法

经过轮廓跟踪滤波后，可获得无噪声干扰的焊缝图像，此时可采取平均法在像素坐标系下提取特征点，其原理如图6 所示。

图6 平均法示意图

平均法可表示为

在提取特征点时，每取一个新点，即计算该点与上一点间的市区距离。若两相邻点间的市区距离大于设定值L，说明两点间的焊缝斜率的绝对值较大，需要在这两点间继续取点，直到任意相邻两点间的市区距离小于L/3。L的计算方法如式（4）所示。

式中：Pv表示图像在v方向的像素个数；N表示提取特征点的总数。

像素坐标系下，两点P(x,y)和Q(u,v)间的市区距离定义为

4.2 像素坐标系到用户坐标系间的转换

4.1 节提取的特征点是像素坐标系下的二维坐标，需要经过相机标定，将其转换到基坐标系或用户坐标系下。

相机的成像模型如图7 所示，图中一共有4 个坐标系：

图7 相机成像模型

(xc,yc,zc,Oc)为相机坐标系，原点Oc为相机的光心；(xi,yi,Oi)为图像坐标系，原点Oi在摄像机光轴与图像平面的交点，一般位于图像中心处；(xp,yp,Op)为像素坐标系，原点在图像左上方角点的像素上；(x,y,z,O)是用户坐标系，原点由用户定义，本系统中，用户坐标系原点在操作台的右下角。

平面矩形W与用户坐标系的xOy面重合，是相机在xOy平面内的扫描范围。

用户坐标系和像素坐标系的转换关系可以表示为

式中：Zc为目标点距离相机光心的距离；(u,v)为像素坐标系下某点坐标；dx、dx为单位像素的长度；(u0,v0)为像素坐标系中主点的坐标；f为相机焦距；R为相机旋转矩阵；t相机平移向量；(X,Y,Z)为用户坐标系下某点坐标；M1为相机内参矩阵；M2为相机外参矩阵。

本文采用MATLAB 进行相机标定，以获得相机的内参数矩阵M1、外参数矩阵M2与畸变矩阵。

确定相机坐标系和用户坐标系后，通过测量可得到相机旋转矩阵R与相机平移向量t。

可将式（6）表示如下：

式中：M为3×4 矩阵，称为投影矩阵。对平面焊缝，特征点在用户坐标系下的Z轴坐标均相等，此时可将M矩阵的第三列删除，并记为Ad。将式（7）等式右边的列向量的第三个元素Z删除，可得：

5 实验验证分析

5.1 焊缝提取结果

选取混合型、直线型和曲线型等3 种典型平面焊缝工件为研究对象，如图8 所示。

图8 3 种典型焊缝工件

采用本文的算法，处理图8 中的4 张图片，获得的轮廓边界识别结果如图9 所示。由图可见，该算法可以在提取出完整焊缝的同时，消除图像上的噪声。每张图像的分辨率均为5 472×3 648，鉴于图片分辨率较高，算法运行时间会稍长。双边滤波、计算梯度图像、二值化、闭运算采取OpenCV 库函数，运行时间在180 ms 左右；轮廓跟踪滤波采用C#语言编写代码进行运算，运行时长在1.3 s 左右。

图9 不同工件识别结果

5.2 特征点提取结果

实验中，由于采用平面焊缝，在恢复特征点的三维坐标时可将特征点在用户坐标系下的Z轴坐标统一设置为工件的高度。

为了检验特征点的准确性，如图10 所示，利用安装在机器人末端的激光传感器扫描焊缝坡口，获得焊缝坡口中心点在用户坐标系下的坐标值。

图10 激光传感器扫描焊缝坡口

具体为：

（1）利用七点法在传感器坐标系Z轴建立工具坐标系，并在机器人控制器中加载该坐标系。

（2）将特征点的Z轴坐标加上0.85SZ，称之为定位点，使机器人末端工具坐标系依次移动到各定位点。其中，SZ表示激光传感器Z轴的最大量程。

（3）激光传感器通过扫描焊缝坡口得到坡口中心点的坐标。图11 为使用传感器厂家提供的软件，在图10 处激光传感器扫描到的结果。通过左右坡口点的坐标值可以求得激光传感器坐标系下坡口中心点的坐标值，并借助传感器标定结果[18]，得到用户坐标系下坡口中心点的坐标值。

图11 激光传感器扫描结果

将由单目相机获得的用户坐标系下特征点称为提取点，将由激光传感器在该位置测出的焊缝坡口中心点称为实测点，比较两组点在y向的误差。

针对3 种典型的工件，获得的特征点误差如表1 所示。可知，直线型焊缝的平均误差最小，为0.23 mm；曲线型焊缝和混合型焊缝的误差分别为0.42 mm 以及0.45 mm，均较大。

表1 不同焊缝在用户坐标系下的误差

将提取点与实测点称为定位点，绘制图12、图13 及图14，实测点在空心圆圆心处。

图12 混合型焊缝定位点对比图

图14 曲线型焊缝定位点对比图

通过分析图12、图14 可知，误差主要出现在斜率较大的曲线处。图12 中斜率的绝对值最大的3 个特征点，误差分别达到1.66 mm、1.44 mm、1.74 mm；图13 中斜率的绝对值最大的3 个特征点，误差分别达到1.45 mm、1.54 mm、1.12 mm。这是因为当焊缝的斜率较大时，x值的微小变化，将引起较大的y值变化，导致这部分的特征点的定位误差相对较大。另外，由图12 可见，在直线焊缝与曲线焊缝交点附近的特征点，也会出现较大的误差，这是因为此处的斜率较大，同时加工误差也较大。

在实际应用中，单目相机可弥补激光传感器扫描范围不足，需要人工示教的缺陷，提高焊接系统路径规划的自动化水平。并且当工件为平面焊缝且平行于相机成相面时，可直接采用单目相机的识别结果。

5.3 路径规划结果

将特征点作为路径中间点即可进行路径规划，因此，路径规划的结果，主要取决于特征点坐标值的准确性。

针对5.2 节实验中的曲线型焊缝，使用得到的焊接路径中间点，采用平滑样条插值、多项式拟合、高斯拟合规划路径，得到的结果如图15 所示。

图15 曲线焊缝路径规划结果

从图15 中可见，多项式拟合对于离散点的拟合效果不佳；高斯拟合法不会经过每一个特征点，在混合型焊缝的路径规划中，因无法保证路径经过曲线与直线的交点，会导致较大的误差；平滑样条插值法规划出的路径，会经过几乎所有特征点，并且可以调整曲线的曲度以及点的重合度，是一种更为优秀的路径规划方法。

6 结语

（1）运用双边滤波、二值化和闭运算等一系列方法处理工件图像后，通过判断跟踪轮廓时一定步数内能否回到起点，区分出噪声与焊缝，获得了无干扰的完整焊缝图像。

（2）根据单目相机成像原理，得到像素坐标系和用户坐标系的关系。通过标定相机得到了相机的内外参数矩阵和畸变系数。实现了特征点从像素坐标系到用户坐标系的转换。

（3）开展了特征点提取实验，在用户坐标系下对比了特征点与实测点。结果表明，对于不同的薄板平面对接焊件，特征点平均定位误差均小于0.5 mm，达到了自动化焊接的要求。