管森，邢彦锋，张小兵，曹菊勇

(上海工程技术大学机械与汽车工程学院，上海 201620)

0 前言

冷金属过渡焊(Cold Metal Transfer，CMT)是在MIG/MAG焊接基础上改进的一种新型焊接工艺。它创新了一种自动送丝功能，即在焊接过程中发生短路过渡时，数字系统控制减小电流，并同时控制焊丝进行机械回缩行为，在不借助电磁力的情况下实现熔滴向熔池的过渡[1]，解决了传统短路过渡中液桥断裂时局部电流过高引起的熔滴迸溅问题，保证了焊接过程的稳定性，因此广泛应用在各种精密仪器焊接和薄板焊接中。

由于CMT熔滴过渡具有热输入低、无飞溅转移等优点，迄今为止，针对CMT中熔滴行为分析的研究络绎不绝。赵文勇等[2]建立了二维CMT电弧增材制造热-流场模型，对CMT熔滴过渡过程熔滴和熔池的相互作用进行了模拟分析。FENG等[3]采用熔滴过渡视觉传感系统和电流电压波形传感系统相结合的方法，探索了CMT熔滴传递过程的变化和送丝行为的控制特性，分析了CMT低热量输入和无飞溅焊接产生的原因。ZHOU等[4]分析了CMT在单周期、单熔滴转移的限制下焊接参数和熔滴特性之间的相关性，得出熔滴沉积质量与CMT的输出能量呈线性关系的结论，并可通过调整CMT焊接参数精准控制熔滴过渡量。

然而，以上研究主要集中于探索熔滴过渡和焊接参数之间的相关性，忽视了熔滴过渡过程所表达的图像信息。随着智能制造不断受到重视，机器视觉作为一项有效的工具被应用在智能焊接中，有助于人们更深刻地认识焊接过程，更好地理解和把控CMT焊接质量。PLANCKAERT等[5]提出了一种主动轮廓算法，实现从短路过渡的图像序列中提取得到熔滴的转移量。WANG[6]设计了一种简易的激光背光熔滴转移监测系统，利用双阈值法结合斜率插值运算对拍摄图像的颜色分布直方图进行运算，实现了对熔滴图像的鲁棒分割，从而达到对熔滴转移过程的在线监测。但是由于光度的影响，单纯的阈值法不能适应复杂的焊接环境。针对阈值法的改进，ZHAI等[7]提出了一种提取熔滴边缘和区域的独立图像算法。WANG、ZHANG[8]基于光度变化，设计了一套图像处理算法，实现了定位熔滴位置并自动计算熔滴大小。虽然熔滴位置的定位可以达到足够的精度，但是对于熔滴尺寸大小的计算精度仍需改进。由此可见，目前熔滴检测算法仍具有一定的限制性，且需要繁杂的操作流程，不利于研究者直接使用。因此，设计一个高精度自动化模型实现对熔滴过渡的全程监控，并实时提取熔滴的相关数据仍需要继续探究。

针对CMT熔滴图像拍摄中由于噪点、弧光影响、画面色域相近等影响对图像分割产生的边界识别问题，本文作者设计一个多任务结构网络自动提取出精细化掩码，从而达到分割出精确熔滴轮廓的目的，并配合定位网络，数据化CMT送丝行为下的熔滴变化情况。

1 实验装置与图像采集系统

1.1 实验装置

图1所示为CMT焊接系统的平台装置示意。该系统主要由CMT焊机(Fronius FK 4000-R FC)、图像采集系统、电弧电压传感系统和KUKA机器人组成。该实验使用母材为4 mm厚的AA6061-T6基板和直径为1.2 mm的ER4043焊丝。

焊接前，先对母材表面打磨去除氧化膜，之后使用75%浓度的乙醇溶液进行清洗。焊接速度设定为0.5 m/min，预设送丝速度为4 m/min。Fronius焊机根据预设参数自动匹配最佳电流和电压分别为69 A和12.0 V。焊接过程采用流速为20 L/min的纯氩气保护熔池。焊丝触点和工件之间的距离设定为20 mm。焊接平台上设定了焊接辅助工具，使得母材能够完全定位和夹紧，以抑制焊接过程中的变形，获得良好的焊缝外观。

1.2 图像采集系统

高速摄像机(Revealer X213)使用808 nm的滤光片和808 nm的激光光源，放置在距离焊道20 cm处，调节光圈大小后，设定速度为2 000帧/s来捕捉熔滴转移过程。图2所示为截取的一个脉冲周期下的熔滴转移示意和拍摄图像。

图2 熔滴转移过程示意

2 网络概述

多任务结构网络的设计旨在针对熔滴形状特性自动搜索定位，进而生成无需手工标注的掩码，并联合初步分割的前景图最终实现对熔滴前景的精准分割。网络结构如图3所示，对于输入的熔滴原始图像，通过R-Net进行熔滴定位并配合掩模行为生成初始掩码。定位图像和初始掩码经过多任务自编码结构后生成精细化掩码和初步的前景分割图，并通过二次精细化单元后生成最终的熔滴前景图。整个网络从输入到输出采用端到端的形式进行训练，并采用跳跃结构融合多层信息，实现信息的最大化保留，保证所提取的熔滴前景的准确性。

图3 多任务结构网络概述

2.1 定位网络选取

R-Net利用锚框对熔滴位置进行定位并提取感兴趣区域(Region of Interest，ROI)，舍弃掉大量冗余的背景信息，保证熔滴区域的突出显示，并自动生成初始掩码。由于拍摄图像中属于熔滴的正样本部分很少，导致正负样本分布极其不平衡，经典One-Stage系列算法会生成大量冗余的锚框，加大计算机内存消耗并造成精度的缺失[9-10]。而经典Two-Stage系列算法虽然提取效果好，但处理时间过长，会消耗过多的时间成本[11-12]。因此，文中选取了精度和速度相对可靠的 RetinaNet[13]，它提出的损失函数(Focal Loss)可以解决正负样本不平衡的问题，且网络中包含的特征金字塔网络(Feature Pyramid Network，FPN)架构可以共享图像高维与低维之间的信息，使图片信息结构更加丰富。之后，在R-Net生成的锚框中点坐标处根据熔滴形态设置任意的小于熔滴轮廓面积的掩码进行前景标记，检测框内剩余部分均设定为未知区域。为了加快掩码的制作速度，依据熔滴过渡轨迹的限制性，手动缩小了锚框的索引范围。

2.2 多任务自编码结构

上述操作虽然通过锚框检测提取出ROI，但此时生成的掩码用于前景分割仍然是粗糙的。将此时的掩码直接放入单任务分割网络[14]后，将会在熔滴轮廓处提取出不完整的区域像素块，这对于熔滴生成精细的边缘轮廓的目标来说不够理想，同时也说明单任务分割结构会受到预训练阶段图像色域分布的影响。受到SDS[15]的影响，设立了多任务学习的方式，将掩码分割和前景分割分为2个任务进行单独训练。

此外，不同精细程度的掩码会直接对前景分割结果造成影响，其主要集中在熔滴过渡到熔池的边缘处部分和高速摄像机拍摄图像的背光位置，此处图像受到光度影响导致轮廓表现较为平滑，前背景色域相似。因此掩码分割阶段需要对熔滴的边缘结构有更多的语义理解。此外，为了使掩码解码器能够对R-Net提取的粗糙掩码有较大的包容性，以满足R-Net目标检测产生的误差，选择了和R-Net前端一样的ResNet-50[16]作为特征提取器，之后分别为2个任务分别设立掩码解码器和前景解码器，并采用跳跃连接以共享深层的结构类语义信息和掩码解码器，而前景分割主要是依赖颜色传播等低维特征，所以将浅层的颜色像素信息和前景解码器共享，由此来提升各自任务的训练精度。为了提升训练速度，解码器阶段的上采样层选用无需学习的反池化层和批量标准化后的5×5卷积层。最终掩码解码器以交叉熵损失拟合输出三通道分类的精细化掩码，前景解码器输出单通道的初始前景分割图。初始前景分割图和精细化掩码将传播到下一阶段进行细化边缘以满足要求。

2.3 精细化单元

模仿单任务分割网络设立了一个精细化单元对初始前景轮廓进行进一步的处理。如图3所示，该单元由2个残差单元[16]和1个卷积层构成，残差单元将精细化掩码、初始的前景分割图、定位图像三者同时输入并进行特征提取，卷积层负责对特征信息再次整合提取。与单任务分割网络不同的是，作者设立了重复的结构，并在2个卷积层之间设置跳跃结构，使得参数共享，增加边缘细化的程度。

2.4 损失函数

多任务学习的目标旨在通过一个模型解决多个任务，减少对内存的消耗，通过共享彼此之间的学习参数使得模型具有更少的参数复杂度，获得更大的鲁棒性，呈现出更高的性能。因此所搭建模型的损失将由各任务之间的联合损失决定。

掩码自编码器从形式上可看做是分类问题，是对原始掩码中未知区域再次划分前景、未知区域、背景的三分类问题。而前景自编码部分可看做是只输出前景的单一通道的回归问题。因此使用交叉熵损失函数作为掩码解码器的分类损失函数，使用L1范数作为前景解码器过程的损失函数。形式如下所示：

Lall=γLT(Tp,Tg)+(1-γ)Lα({Tp,αp},αg)+

μLF,γ∈[0,1]

式中：γ、μ都代表权重参数；LF代表RetinaNet自带的Focal Loss。实验中，为了能够在多任务自编码结构阶段提高对掩码解码器的精细程度，以在后续阶段获得更好的前景分割图，所以此阶段通过提高γ值来增加模型对掩码解码器损失函数的注意力程度。在二次精细化单元阶段通过减少γ值来增加模型对前景分割的注意力程度。μ保持一个较小的值来提供一定的约束性，文中设定为0.01。此外，为了避免最优化参数探索过程的繁琐性，在训练期间通过反向传播进行动态调试。

3 调试阶段

3.1 数据集获取

由于目前没有公开的熔滴数据集，因此使用实验采集的CMT熔滴短路过渡图像，但由于其规模较小，且彼此存在大量相似的特征，造成数据集的可使用率较低，无法满足模型训练的要求，容易导致所构建模型的过拟合。为了解决标注数据集缺乏和获取大量已标注数据集的矛盾，使用迁移学习的方法，对模型的各模块进行预训练，待收敛后，对相应部分进行初始化并以端到端的方式对整个模型进行微调。

首先，由于R-Net的作用是对熔滴进行定位并提取ROI，因此使用COCO的80分类数据集对它进行预训练，损失函数采用R-Net独有的Focal Loss[17]。对于多任务自编码结构阶段的预训练，首先使用了alphamatting.com数据集[18]，它包括27个训练图像和8个测试图像，尤其是含有3种不同质量的掩码，可满足模型不同阶段掩码的使用要求。其次使用Composition-1K 数据集[14]，它包括493个前景对象，与100张COCO背景图像合成得到足够的训练图像，将实际标注图像进行不同倍数的形态学操作生成不同样式的掩码以满足训练要求。

3.2 评估指标

使用常用的3个图像评估指标反映最终熔滴前景提取的质量，分别为均方误差(Mean Squared Errors，MSE)、绝对误差(Sum of Absolute Differences，SAD)、梯度误差(Gradient Errors，Grad)。此外，所有指标都只应用在未知区域内，并按像素值进行平均。

3.3 训练细节

在预训练阶段，按照网络排列的顺序对各个模块进行更新。首先更新R-Net，由于所使用的R-Net是基于ResNet-50的RetinaNet，因此遵从原文设定的参数在COCO2017数据集上进行预训练。待模型收敛后进行多任务自编码结构阶段的更新，初始学习率设定为0.000 1。使用Adam优化器对模型进行优化，学习动量和权重衰减分别设置为0.9和0.000 1。设定批次大小为16，迭代次数为120。预训练阶段中掩码数据集的获取由真实标注前景通过不同程度的形态学操作生成，并以未知区域的像素为中心，沿着320像素×320像素到640像素×640 像素随机剪裁方形块后调整大小为320像素×320像素来增加采样的多样性。所有预训练图像都经过数据增强通道，包括随机翻转、旋转、随机裁剪、变形、缩放等几何变化丰富样本的分布以适应模型更多的变化。待此阶段收敛后，进行最后精细化单元的更新，将全分辨率的定位图像和上一阶段的输出一起放入，进行二次递归，并设置跳跃连接，保证细节的保留和锐化。之后进行实验数据端到端的训练，使用各模块预先训练好的参数初始化模型相关层数。在正式训练阶段，将实验所采集的1 000张CMT熔滴短路过渡图像进行LabelImg标注后，按照合理的数据集划分通过数据增强通道后重置图片大小为320像素×320像素放入R-Net进行训练，基础学习率增加到0.005，其他训练参数和原网络保持相同。之后将手工提取熔滴精确的前景图作为真实标注图，结合上阶段提取出的熔滴初步掩码放入多任务自编码结构进行训练，此阶段设定初始学习率为0.001，权重衰减设为0.000 5，批次大小设为20，迭代次数设为50，其他训练参数和原网络保持相同。需要强调的是，每个迭代的训练数据都是随机划分的。端到端阶段使用Python3.7在PyTorch 2.0平台上训练，使用两块并行的Nvidia 2080Ti GPU进行运算。

4 结果和讨论

4.1 R-Net定位效果

由于R-Net所提取ROI的质量会直接影响初步掩码的质量，需要对选取的RetinaNet进行性能验证。图4是模型随着迭代次数的增加，损失函数的变化趋势。可知：迭代达到36次后，模型开始收敛，最终模型检测精度达到97.31%。记录每个检测框的宽高像素信息，保存为熔滴的形状系数(熔滴的形状系数Q=W/H，其中W为熔滴宽度，H为熔滴高度)。图5所示为随机选取的4副熔滴识别效果，可以观察到模型对于熔滴图像存在多个检测目标，取置信度最高的检测框作为最终的熔滴目标。

图4 RetinaNet损失函数

图5 RetinaNet检测效果示意

4.2 不同模型性能对比

为了体现文中所设计网络结构的高效性，进一步测试模型的性能和精度，选取主流掩码网络模型，如Deep Image Matting(DIM)、Deep CNN[19](DCNN)和文中模型进行对比。由于以上网络训练需要用户交互形成的掩码进行传入，为了使比较结果更加公正，均采取和文中模型相同的办法，将原图传入R-Net生成的初步掩码后再传入其他模型进行训练。评价指标如表1所示。

表1 在熔滴数据集上的评价指标

由表1可知：文中设计模型最终拟合精度可达98.8%，且应用在熔滴拟合问题中，绝对误差和梯度误差明显优于主流模型的表现。为对比不同模型的表现效果，选取了周期内部分代表性的图像进行展示。由图6可知：文中模型相比于DIM和DCNN能够更好地拟合熔滴轮廓，DCNN的熔滴前景轮廓提取具有较大的颜色黏结块，这说明相比于DCNN中采用的卷积运算，自编码结构确实能对图像结构有更多的理解，不会受到颜色分布的影响。而相比于DIM，由于掩码的相对粗糙性，单任务自编码结构表现稍显不足，对于细节部分的轮廓结构处仍然会有一些疏漏，且锐化程度不够，这也说明多任务结构设计的必要性。

图6 不同模型的熔滴检测效果

5 模型应用

截取单个完整焊接周期内的熔滴过渡图像放入模型中，提取熔滴的形状系数和前景轮廓大小，以焊丝的像素值作为参考将坐标转换为实际坐标系下的数值，得到熔滴短路过渡过程中的熔滴面积和形状系数的变化，如图7所示。

图7 熔滴面积和形状系数变化

由图7可以得出CMT熔滴过渡具有如下特点：0～27 ms时间段内，CMT处于燃弧阶段，此时熔滴质量快速增加，当到达一定阈值后，电流恢复基值，熔滴质量开始缓慢增加，CMT进行送丝，由于重力和速度的影响，熔滴在焊丝端部会进行反复震荡，导致形状系数变化较大。当过渡时长达到55 ms时，熔滴接触到熔池发生短路过渡，熔滴加速进入熔池，此过程形状系数变化较小，证实了CMT金属过渡的稳定性。这是由于此过程电流较小，减少了过渡时产生的电阻热，是CMT区别于其他焊接形式的重要特点。在过渡时长达到66 ms时，焊丝进行抽丝行为，从熔池中扯出部分金属液体，导致熔滴质量增加，此时液相桥形成，在Marangoni力的影响下，金属液体开始稳定返回熔池中。在83 ms时，液相桥断裂，熔滴形状系数恢复初始大小，残余熔滴量和上一周期残余量接近。

6 结束语

(1)文中根据CMT短路过渡中的熔滴形貌特性设计了一个多任务结构网络，解决了熔滴图像由于噪点、弧光影响、拍摄角度不好等所导致的边界识别问题，可以自动化定位熔滴位置并提取出其轮廓形状和大小，实现对CMT熔滴过渡过程的数据化把控。

(2)所设计的网络根据R-Net确定熔滴位置，定位精度可达97.31%，并能自动生成精确掩码，这是区别于其他主流掩码分割网络的关键部分，从而提高最终的轮廓提取精度，使得轮廓拟合精度可达到98.8%。

(3)根据需求自主设定的损失函数能够有效提高模型检测精度，且能在不同阶段调整损失函数的权重，提高对单个模块的注意力程度。将文中所设计模型与DIM及DCNN性能进行对比，综合性能上文中所设计的模型在检测准确度方面较高。

(4)以图表显示熔滴短路过渡过程中的熔滴面积和形状系数的变化关系，对CMT熔滴过程进行了定量的分析。