（华南理工大学机械与汽车工程学院，广州 510640）

在航空制造领域中，焊接、喷涂、搬运、装配和检测是工业机器人的主要任务，而航空零件部往往结构复杂、性能精度指标要求高，因此对工业机器人的作业难度和精度提出了更高的要求。对于焊接这类高强度、低效率却要求高精度的传统工艺，实现高智能高精度的自动化改造已经成为一大趋势。近年来，机器视觉与工业机器人集成技术飞速发展，开始进入航空领域并推动了自动化焊接技术的发展，相应焊接工艺过程的视觉检测技术也不断有研究成果出现。

目前，针对集成机器视觉的自动化焊接这一领域已有不少研究成果。卢泉奇等[1]基于Halcon软件处理平台，给出了一种实现工业机器人视觉系统定位的方法，实现了机器人对目标物体的定位抓取；周军等[2]针对于PCB焊接工艺中的关键技术——PCB焊点定位，给出了亚像素焊点轮廓检测算法和运动台四轴联动的组合方法，提高了定位精度；许琳等[3]基于结构光技术，设计了小型集装箱专用焊接机器人系统，并准确地检测了初始焊点的位置。

针对银网焊点定位这道特殊工序，运用镜头畸变校正和标定板手眼标定实现图像坐标与机器人坐标的精确转换，并利用Blob分析消除图像形态缺陷，提取符合要求的ROI，再采用基于形状的模板匹配与最值提取算法精确获取中心圆环内均匀分布的4个焊点位置，可以有效克服光照因素、样品变形造成的定位困难，符合生产要求。

系统方案设计

本系统基于机器人视觉，在工业相机采集到传送带送来的银网样品图像后，针对银网焊接工艺要求，工控机采用精确可靠的图像处理识别定位焊点位置，并通过对相机内外参数的标定，返回给机器人世界坐标系下的位置，以实现机器人精确识别定位焊接的目的。图1和图2分别展示了系统组成和工作流程。

图1 系统组成Fig.1 System composition

图2 系统工作流程Fig.2 Working process of the system

相机镜头畸变校正

对工业相机镜头的畸变进行校正，本质就是对相机进行内参数标定。畸变校正后的相机的内参数，主要包括焦距f、图像坐标系下像的放大系数h及图像坐标系在像素坐标系的位置坐标信息。畸变校正通常需要采用参数规范化的标定板，其外观如图3所示。

在视觉软件建立数据模型并载入标定板规格信息及相机初始内参数后，利用黑色圆点图像中心坐标mi和通过投影计算得到的圆点中心坐标Ti（Mi，c）之间距离的最小化，可确定出内参数的唯一校正解。联合求解式如下：

式中，l为载入图像数目，r为一幅图像中的黑色圆点数目。

图3 标定板外观Fig.3 Appearance of the calibration plate

机器人动态视觉手眼标定

1 标定思路

摄像机标定时，虽然也可以获得摄像机的外参数，但这只是标定用的靶标（标定板）坐标系相对于摄像机坐标系之间的关系[4]。在本应用中，还需要进行机器人手眼（eye-inhand）标定[5]，即求取的是相机坐标系相对于运动轴的关系，进一步得出图像像素坐标系与世界坐标系的转换关系，实现机器人视觉系统的精确定位，这也是实现银网焊点定位的关键步骤之一。

2 标定流程

如图4所示，机器人手眼视觉系统中，各坐标系之间有如下关系：

其中，机器人基坐标系与末端运动轴位置关系矩阵baseHtool可由机器人内部封装算法直接获取。标定所求取的坐标系关系矩阵即为baseHtool，即相机坐标系与运动轴J2之间的位置关系。手眼标定流程如下：

（1）准备标定板，放入相机视野内，将其固定。即标靶坐标系[6]OgXgYgZg固定。

（2）机器人示教法将靶标坐标系设置为机器人用户坐标系[7]，确定camHcal矩阵。

（3）改变运动轴J2位姿，采集多张标定板图像，如图5所示。通过机器视觉软件内部封装好的标定算法提取出各黑色圆点像素坐标信息，由之前标定好的内参数模型可获取相机坐标系下位姿：

机器人基坐标系与靶标坐标系均为固定坐标系，二者之间的转换矩阵baseHcal可由机器人示教确定。而由标定板数据模型可确定OgXgYgZg坐标系下各黑色圆点坐标，与OcXcYcZc坐标系下坐标联立，即得各拍照位姿下相机外参数camHcal：

（4）联立各外参数camHcal对应的机器人运动轴J2位姿baseHtool，代入式（2），可得最终标定结果：

图4 机器人手眼视觉系统Fig.4 Robot eye-in-hand vision system

图5 不同拍照位姿下的标定板图像Fig.5 Images of calibration plate in different camera pose

像素坐标提取完成后，利用内外参数标定结果，机器人即可根据不同的采图位姿，动态地计算出从图像像素坐标系到机器人坐标的转换坐标。机器人读取坐标信息后，可精确定位到焊点位置。转换矩阵由下式求取：

焊点定位算法设计与试验

针对实际工程中对焊接点位置的要求，利用焊点定位算法采用Blob分析[8]粗定位与形状模板匹配[9]精定位提取焊点坐标的方式，可以达到理想的提取结果。待处理银网随传送带输送至工位后，将触发光电传感器，并外触发相机拍照采图，样品如图6所示。之后进入算法处理阶段，其主要算法处理如下。

1 Blob分析粗定位

由于要求焊点分布于圆环中心附近的带状区域内，因此需要将定位范围限定在此区域内，减少外在环境因素对特征提取结果的影响。

（1）图像分割与形态学处理。

灰度阈值分割[10]输出区域为低灰度区域，但是由于背景图像和光照因素影响，会出现孔洞、凹陷和毛刺，使得区域特征出现一定程度的偏差。对目标区域采用先闭运算后开运算操作，可滤去宽度小的银网区域，输出圆度较大的圆形内孔结构区域。算法采用圆形结构元素，且半径关系满足：

其中，ln为银丝宽度，R为结构元素半径。算法处理结果如图7所示。

（2）提取 ROI。

ROI提取算法主要由圆特征提取拟合、图像分割两部分组成。以圆度和面积作为双重特征约束条件，可以提取出中心圆孔区域，为防止圆孔区域圆度易受干扰，可采用圆拟合算法获得圆度为1的标准圆，并可由此获得较精确的中心点像素坐标（r0，c0）。再以（r0，c0）为圆心划分圆环形ROI，使得ROI大致位于银网的中心圆附近，且ROI的宽度D满足：

保证ROI在径向必能提取到匹配点。其中，dn为银网交点间距离，lt为模板长轴长度。提取ROI区域的算法处理结果如图8所示。

2 模板匹配精定位

精定位即以提取的ROI为基础，进一步精确提取满足生产要求的焊点坐标。精定位算法需消除光照、瑕疵等各类干扰对焊点位置识别的影响，主要算法设计与处理如下：

（1）模板创建。

采集的模板文件处于生产实际中最理想的条件下，满足光照正常、无遮挡、形状尺寸标准等条件。本文选择中心位于银网交叉点中心的椭圆形ROI作为模板，如图9所示。

（2）模板匹配。

由于生产实际中的银网存在一定程度的变形、旋转、易反光等因素，影响识别定位的准确性和精度，因此精定位考虑采用基于形状的可变形、可旋转的模板匹配定位算法实现。算法的相似度度量s基于模板范围内所有像素的梯度向量，令一一对应的梯度向量之积最小，由此确定最佳匹配坐标点。设模板图像为点集p=(ri，ci)T，经过 sobel滤波算子[11]处理后，可得模板的梯度向量集为di=(ti，ui)T，其中i=1，...，n。同理，对应的待匹配图像点q=(r，c)的梯度向量为e=(vr,c，wr,c)T，归一化算法公式如下：

图6 银网样品Fig.6 Sample of silver net

图7 闭、开运算Fig.7 Close-open operation

当s=1时，图像与模板点集一一对应，而当匹配图像被遮挡一半时，s将不大于0.5。建立模板时将银网交叉点作为模板中心点，匹配完成后，算法输出的像素坐标点即为银网所求点坐标。基于形状的模板匹配可适用于旋转、一定程度的变形、非线性光照影响及部分遮挡的情况，适当选择最低匹配分数、最大变形等参数，即可匹配到银网所有交叉点（红色标记点）。匹配结果如图10所示。

（3）筛选提取定位。

Blob分析后所得的中心圆环ROI与模板匹配点求交集，即可获得分布于中心圆环内的一系列像素点集（Rows[k]，Columns[k]），k=1，...，n，其中n为圆环ROI内焊点数目。

提取像素点数组最值，可得4个对称焊点：y1=min(Rows[k])=Rows[i]，x1=Columns[i]；y2=max(Rows[k])=Rows[j]，x2=Columns[j]；y3=Rows[m]，x3=min(Columns[k])=Columns[m]；y4=Rows[n]，x4=max(Columns[k])=Columns[n]。焊点提取结果（红色标记）如图11所示。

图8 ROI提取Fig.8 ROI extraction

图9 模板创建Fig.9 Creating template

图10 变形、非线性光照变化下的匹配结果Fig.10 Matching results of deformation and nonlinear illumination changes

表1 部分焊点定位提取结果

图11 焊点定位与提取Fig.11 Welding spot location and extraction

试验采用机器人固定标定针方式进行标定并定位坐标，随机取6块银网，对每块银网每个焊点中心坐标进行5次反复定位，测量5次针尖与焊点中心的水平距离，取平均值作为偏移误差,其计算公式如下：

式中，ΔDnk为第n块银网的第k个焊点的偏移误差，di为第i次测量的距离。

部分焊点定位试验结果整理如表1所示。

统计多组定位偏移误差数据结果，可由下式计算得出焊点定位精度δ=0.11mm。

结论

本文针对银网焊接工艺设计了一套基于机器人视觉的激光焊接系统，并针对其中的焊点识别定位技术进行了深入的研究。通过试验证明，运用镜头畸变校正和标定板手眼标定，结合采用Blob粗定位和模板匹配精定位算法，可以达到理想的焊点识别与定位效果，有效克服光照因素、样品变形造成的定位障碍，定位精度可达δ=0.11mm，符合生产要求。

参 考 文 献

[1]卢泉奇,苗同升,汪地,等.基于HALCON的机械手视觉抓取应用研究[J].光学仪器,2014,36(6):493-498.

LU Quanqi,MIAO Tongsheng,WANG Di,et al.Application research of vision crawling robot based on HALCON software[J].Optical Instruments,2014,36(6):493-498.

[2]周军,许烁,屠大维.PCB焊点的机器视觉精密定位系统[J].机械制造与自动化,2016,45(3):172-175.

ZHOU Jun,XU Shuo,TU Dawei.Machine vision system based on precise positioning for PCB solder joints[J].Machine Building &Automation,2016,45(3):172-175.

[3]许琳.基于结构光技术的焊接机器人焊点定位系统研究[D].济南: 山东科技大学,2008.

XU Lin.The robot welding position locating system based on structured-light[D].Ji’nan:Shandong University of Science and Technology,2008.

[4]徐德,谭民,李原.机器人视觉测量与控制[M].北京: 国防工业出版社,2011.

XU De,TAN Min,LI Yuan.Visual measurement and control for robots[M].Beijing:National Defense Industry Press,2011.

[5]吴林,陈善本.智能化焊接技术[M].北京: 国防工业出版社,2000:192-247.

WU Lin,CHEN Shanben.Intelligent technologies for welding[M].Beijing: National Defense Industry Press,2000:192-247.

[6]冯华山,秦现生,王润孝.航空航天制造领域工业机器人发展趋势[J].航空制造技术,2013(19):32-37.

FENG Huashan,QIN Xiansheng,WANG Runxiao.Developing trend of industrial robot in aerospace manufacturing industry[J].Aeronautical Manufacturing Technology,2013(19):32-37.

[7]SONG W,WANG G,XIAO J.Research on multi-robot open architecture of an intelligent CNC system based on parameterdriven technology[J].Robotics and Computer-Integrated Manufacturing,2012,28(3):326-333.

[8]张杨,高明辉,周万勇,等.自动钻铆系统中工业机器人协同控制技术研究[J].航空制造技术,2013(20):87-90.

ZHANG Yang,GAO Minghui,ZHOU Wanyong,et al.Research on industrial robot cooperative control technology for automatic drilling and riveting system[J].Aeronautical Manufacturing Technology,2013(20):87-90.

[9]HAGER G D.A modular system for robust positioning using feedback from stereo vision[J].IEEE Transactions on Robot and Automation,1997,13(4):582-585.

[10]SHIRAI Y,INOUE H.Guiding a robot by visual feedback in assembling tasks[J].Pattern Recognition,1973,1(5):99-108.

[11]YOSHIMI B H,ALLEN P K.Alignment using an uncalibrated camera system[J].IEEE Transantions on Robotics and Automation,1995,11(4):516-521.