基于双目视觉的船舱格子间角焊缝路径识别

2022-09-22张勇高延峰张华

焊接 2022年7期

张勇，高延峰，张华

(上海工程技术大学，上海市大型构件智能制造机器人技术协同创新中心，上海 201620)

0 前言

船舱格子间是一种不规则的钢板拼装结构，难以采用传统的工业机器人进行自动化焊接。狭小的工作空间使得焊工必须长时间趴卧躬身完成焊接，难以保证焊接质量，且容易造成劳动损伤[1]。为了实现自动化焊接，需要借助机器视觉进行环境识别和焊接路径的规划引导。

对于船舱格子间焊缝识别问题，郭亮等人[2]将旋转电弧与激光视觉传感器相结合，实现了狭小空间直角角焊缝的识别，并通过试验证实了焊缝的识别与跟踪效果。Zeng等人[3]在焊缝两侧安置屏闪光源，基于定向照明的光影特征识别焊缝边缘。Chen等人[4]提出了一种基于双目结构光传感器的3D焊缝提取与跟踪方法，并生成了指导机器人操作的路径。Wang等人[5]提出了一种结合多极约束的简要描述立体匹配算法，解决了焊件表面的模糊或相似特征给双目视觉立体匹配带来的困难，并实现焊缝的识别与定位。Jia等人[6]基于双目立体视觉实现了焊缝深度信息的提取。杨斌等人[7]基于双目视觉原理并结合LeNet-5 卷积神经网络模型，实现了对于焊缝图像较为全面的特征提取。何银水等人[8]提出了一种基于视觉注意机制的机器人厚板焊接焊缝轮廓提取方法，实现了焊接过程中焊缝轮廓与熔池的同时识别。

针对船舱格子间角焊缝路径识别问题，从双目视觉的拍摄角度、拍摄距离，以及图像处理、匹配算法优化几个方面，研究了基于双目视觉系统的船舱格子间角焊缝识别问题。

1 船舱格子间环境与焊接机器人

1.1船舱格子间工况介绍

为了加强船体强度，船舱底部通常采用小型格子间形式，相邻格子之间存在不规则流水孔，使得焊缝路径间断且复杂。单个格子间空间狭小，焊缝类型多样，有直线焊缝、流水孔焊缝、直角形焊缝、带有流水孔的直角转弯焊缝等，如图1所示。对于格子间结构，大型自动化焊接设备难以适应，焊缝识别与运动路径规划的难度极大。

图1 船舱格子型构件

现阶段船厂多采用人工焊接，极易导致焊接质量一致性差、合格率低、劳动强度大、危害健康等问题。因此，设计一款小巧灵活、具备环境识别与路径规划的移动焊接机器人十分必要。

1.2试验平台介绍

图2为机器人试验平台，设计的移动焊接机器人底盘靠前位置安装有万向轮，靠后安装左右2个驱动轮，采用差速运动，可实现机器人的转弯动作。底盘上安装的十字滑台可以对焊枪进行位姿控制。

图2 机器人试验平台

数据采集和运动控制系统集成在控制柜中，与机器人本体分开布置，可避免焊接过程中的高温高热环境与噪声信号干扰。控制柜的工控主板采用研华PCM3362，数据采集卡采用ART2932，运动控制卡采用ART1020，图像采集卡则为恒大公司VT111。

双目相机型号为HBV-1780-2，与图中可升降、角度可调的滑轨万向节组合模块相连，实现在不同距离和角度下的图像采集。双目视觉设备位于机器人前端，通过USB端口连接数据传输线，实现与图像采集卡之间的通讯。

2 船舱格子间焊缝路径规划

2.1双目相机的标定

为了获取相机的内、外参数，需对双目相机进行标定。张正友标定法[9]具备操作简单、方便、精度高等优点，文中基于该法进行双目相机的标定。

标定流程如图3所示。首先，制作20 mm×20 mm黑白格子型标定模板，如图4所示；然后，拍摄不同姿态下的模板样图进行裁剪分组，并导入Matlab的相机标定应用中。设定相关参数，获得标记点重投影误差的统计结果。通常认为整体重投影平均误差低于0.5即表示重投影精度高，标定结果显示重投误差控制在0.16以下，说明本次标定效果较好。

图3 相机标定流程图

图4 标定板

标定结果见表1。因为Matlab双目标定应用将世界坐标系与左目相机坐标系定义为同一个坐标系，因此，左目相机对应的外部参数为4×4的单位阵。使用的双目相机光轴平行，通过平移可将右目相机坐标系变换为世界坐标系。由于相机切向畸变的影响基本可以忽略，因此，标定结果只考虑双目的径向畸变系数k。

表1 相机标定结果

基于表1标定结果，建立图5所示几何成像模型的坐标变换关系，可将任意特征点的世界坐标通过内参与外参矩阵的坐标变换，转变为双目系统的相机坐标、图像坐标，以及该点对应的像素点坐标。

图5 几何成像模型坐标变换关系

为了表达双目系统中配对的像素点坐标与其对应特征点世界坐标之间的映射关系，建立了如图6所示的坐标系。图中定义世界坐标系下的任意点为P，点P在左、右相机中的成像点分别定义为PL，PR，左、右相机光心分别定义为OL，OR。当通过左相机观察点P时，可以看出P在该PLOL连线上，但点P的深度无法确定。当同时使用左右相机对P点进行观察时，就可以确定出P点的具体位置，即为PROR射线与PLOL射线的交点。所以当特征点在左右相机中的成像点坐标确定后，就可以求出世界坐标下特征点对应的世界坐标[10]。

图6 双目立体视觉成像原理

2.2角焊缝图像处理

为了提高算法匹配速度与准确率，需对图像进行处理，得到清晰的焊缝轮廓图像。经过多次试验效果对比后，采用图7方法从图像中获取焊缝轮廓。

图7 图像处理流程框图

图像处理效果如图8所示，原始图像经过高斯滤波与灰度化处理后，可去除相关噪声信号并将彩图转化为0～255分辨率的灰度图。再通过Sobel算子对图像进行边缘提取，可以看到利用Sobel在x，y方向各取50%权重，进行图像迭代后得到的图8d，相较于单一方向处理的图8c而言，图8d噪声信号更少、轮廓更加清晰。对比图8d和图8e，图像经过二值化处理后，焊缝轮廓加强、冗余噪点基本筛除。最后为了剔除不连续噪声像素点，在图8e基础上进行了非连续像素点筛选。处理后最终效果如图8f所示，得到一个较为完整且清晰的船舱格子间焊缝轮廓图。

图8 焊缝图像处理效果图

2.3焊缝特征点匹配与焊缝路径拟合

如何从同一场景拍摄得到的2幅成像图中找到配对的成像点坐标，是双目视觉获取特征点三维信息的重要环节。BM算法[11]具有匹配速度快、精度高等优点，文中采用该算法进行特征点的匹配。该算法原理如图 9所示，在对一组成像图进行双向匹配时，该算法首先通过匹配代价在左图中计算得到匹配点A，然后用同种计算原理获取右图匹配点B；当基于右图匹配点B，再次通过匹配代价在左图中计算得到的匹配点B’与开始时的匹配点A一致时，即为匹配成功，否则匹配失败。

图9 BM算法匹配原理图

利用上述匹配算法将角焊缝中心轮廓线上连续的像素特征点全部进行双向匹配，可生成图10所示对应匹配点组合成的焊缝轮廓图，以及各匹配点对应的三维坐标数据示例。因为文中路径识别对象为船舱底板与立板和侧板之间的直角角焊缝中心路径，所以将整理的坐标数据导入Origin软件中进行线性拟合后，仅保留如图11所示的船舱格子间部分矩形角焊缝的直角角焊缝的拟合路径。

图10 匹配点焊缝轮廓图

图11 角焊缝拟合路径

3 试验设计与结果分析

3.1拍摄角度对测量精度的影响

拍摄角度将直接影响图像的畸变程度，通常拍摄偏角越大，采集图像的畸变将越发明显。为了保证焊缝特征点三维信息的测量精度与稳定性，有必要确定出可接受的偏角范围。

设计图12所示的5组试验，改变双目相机拍摄偏角，在保持光照效果一致、机器人本体与焊缝距离b不变的情况下，分别对不同拍摄角度下采集的5组图像进行处理识别与双目测距。8个特征点的相邻间距设置为50 mm，将拍摄角度调整范围设定为(-45°，+45°)，检测此范围内双目系统测距精度较高、波动范围小的角度变化区间。