刘秀航，叶广文，黄宇辉，张艳喜，冯桑，高向东

(广东工业大学,广东省焊接工程技术研究中心,广州,510006)

0 序言

激光焊和激光-电弧复合焊两种焊接方式易出现根部驼峰缺陷，国内外学者对激光焊接根部驼峰及熔池和匙孔的状态进行了大量研究.激光-电弧复合焊过程中，电弧热源的加入有可能是导致根部驼峰出现概率提高的原因[1].Jan[2]通过焊接过程高速摄像机实时检测来阐述了驼峰的形成是匙孔内部压力、熔池流动和熔体表面张力综合作用的结果，研究了应对驼峰缺陷的工艺解决方案.驼峰是由于受力不稳定所导致的熔融金属从上到下转移和溢出，驼峰的出现会改变焊缝正面熔池和匙孔的状态.经过多次试验得出，当激光功率不足以完全熔透焊缝时，熔池内部流动熔融金属从焊根部溢出，此时出现根部驼峰缺陷，因此驼峰的形成与焊接热输入不足时出现的临界熔透状态有关.

在焊接熔透状态检测方面，国内外学者进行了许多深入的研究.焊接的熔透状态可以通过背部焊缝的熔宽来表征，提取焊接过程的正面视觉特征，通过模式识别和神经网络技术对焊接熔透状态进行分类的研究已有许多成果.高向东等人[3]提出了用于熔透状态预测的模糊聚类方法.采用可视范围为960～ 990 nm 的近红外滤光片进行焊接过程的图像采集，并提取焊接过程匙孔和熔池的相关特征对熔透与未熔透两种状态进行分类.杨嘉佳等人[4]利用近红外视觉传感方法获取双丝焊过程熔池图像，提取熔池几何特征参数输入到反向传播(back propagation，BP)神经网络进行熔透识别.冯宝等人[5]利用L1/L2 极限学习机(L1/L2-Extreme Learning Machine，L1/L2-ELM)算法来训练电弧焊熔透识别模型，与传统ELM 算法相比，具有更强的泛化能力和更高的准确率.刘天元等人[6]针对激光焊接过程的熔池匙孔图像，采用卷积神经网络对熔池和匙孔图像特征进行提取，再将特征输入LSTM 神经网络，对激光焊接过程的熔透状态进行识别.陈子琴等人[7]通过高速摄像机分别拍摄激光焊接正面和侧面的焊接过程，提取金属蒸气、飞溅和熔池等特征信息，再利用神经网络对背部熔宽预测.

利用焊接过程状态的传感监测可以识别焊接缺陷，对焊接过程稳定性进行评价.高速焊接过程图像中的飞溅、金属蒸气、电弧光和底面熔池流动信息能有效反映焊接成形和焊接过程状态稳定性[8-9].通过多传感监测平台对激光焊接过程的特征信息进行提取，利用相关分类算法和模型，对焊接无缺陷情况和不同的焊接缺陷的情况进行准确分类[10-11].

在焊接领域中有学者采集焊件正面及背面图像，并将经验模态分解处理后的特征作为预测模型输入实现焊缝根部驼峰缺陷检测[12].但该方法需要采集焊件背部信息，不适用无法观察焊件背部的场合.而所提出的方法仅需要采集焊接表面图像特征，通过WPD 对图像的时序特征分解和重构，使输入维度得以扩增，从而防止模型欠拟合.以焊接过程熔池和匙孔的时序特征信息作为LSTM 神经网络模型输入输出，可准确预测激光-MIG 复合焊根部驼峰缺陷.

1 激光-MIG 复合焊特征信息采集

1.1 试验系统

激光-MIG 复合焊过程中的检测系统，如图1所示.光纤激光器的激光波长为1.07 μm，最大输出功率为4 kW.高速摄像机采集图像的像素为640 ×480 pixel，采样帧率为2 000 帧/s，采用950 nm 窄带近红外滤光片滤除焊接过程中的干扰，提取熔池和匙孔的特征信息.高速摄像机距离焊件表面300 mm，与焊接工作台成30°的夹角.保护气成分为98%Ar+2%CO2，进行焊后熔池保护.选用的焊件材质为SUS304 不锈钢，尺寸为200 mm × 100 mm ×3 mm，焊丝为ϕ1 mm ER308 不锈钢焊丝.采用电弧辅助激光焊接的形式，激光在前，MIG 焊枪在后，具体焊接工艺参数如表1 所示.此外，采用装配有激光扫描仪的关节臂测量仪对焊缝进行扫描，采集焊缝的成形轮廓，并对焊缝轮廓曲线进行相应的结构光图像处理以获得背部焊缝的余高.

图1 激光-MIG 复合焊接过程检测系统Fig.1 Laser-MIG hybrid welding process detection system

表1 焊接工艺参数Table 1 Welding process parameters

1.2 图像分割与特征提取

由于复合焊过程热输入较大，产生大量金属蒸气，加之MIG 焊枪同轴吹出的混合保护气体导致焊接过程熔融金属被蒸发产生的大量金属蒸气覆盖在熔池和匙孔区域的正上方，对熔池和匙孔区域形成遮挡，因此同步高速摄像机难以直接集成或置于焊件上方对焊接过程中的熔池和匙孔进行拍摄，而是采用侧拍的方式.

对复合焊过程图像进行处理以及特征提取，如图2 所示.其中熔池区域主要采用了自动标定的分水岭算法来进行分割并特征提取，而匙孔部分则主要采用阈值分割的方法来进行图像分割并提取特征.最终得到熔池和匙孔的区域图像，取熔池区域横向最大长度为熔池长度WL，纵向最大宽度为熔池宽度WW，熔池长度和宽度之比为熔池长宽比WR，熔池和匙孔区域像素点之和分别为熔池面积WA和匙孔面积KA，所提取的时序特征曲线如图3 所示.

图2 激光-MIG 复合焊熔池和匙孔的图像处理及特征提取Fig.2 Image processing and feature extraction of weld pool and keyhole in laser-MIG hybrid welding

图3 激光-MIG 复合焊过程熔池和匙孔的时序特征Fig.3 Timing characteristics of weld pool and keyhole in laser-MIG hybrid welding process.(a) keyhole area; (b) molten pool area; (c) molten pool length; (d) molten pool width; (e) length-width ratio of molten pool

图4 为带有根部驼峰缺陷的焊缝成形.对于出现根部驼峰的位置，对应的正面焊缝成形呈现宽度收缩和表面下凹的形态，这与焊接过程熔融金属的向下转移有关.焊缝的正面成形状态出现周期性的变化，根部驼峰缺陷也相应周期性出现，焊接过程中熔池和匙孔在稳定与失稳两种状态下周期性地切换.

图4 不锈钢激光-MIG 复合焊的焊缝正面及背面形貌Fig.4 Front and back morphology of stainless steel laser-MIG hybrid weld

2 小波包时序特征信号处理

焊接过程中熔池和匙孔的时序特征富含焊接过程状态信息.为扩增预测模型的输入维度，解决欠拟合问题，提高预测模型的准确率，通过小波包分解对焊接过程时序特征进行分解和重构，实现预测模型输入维度的扩增，从而解决预测模型欠拟合问题，并提高预测模型的准确率.小波包分解通过使代价函数最小化，得出对原始信号最优的分解路径，并以此进行分解[13].

式中：h和g为小波包重构滤波器组.由式(1)～ 式(4)可知，小波包变换将原始信号分解成高频部分和低频部分.以熔池宽度的时序特征为例，选取Daubechies1 (db1)作为小波基函数，采用香农熵进行3 层小波包分解.最终分解出P(3,0)，P(3,1)，P(3,2)，P(3,3)，P(3,4)，P(3,5)，P(3,6)，P(3,7)共8 个小波包节点，对这些小波包节点的进行重构，如图5 所示.这些重构节点的信号包含了熔池宽度特征的众多有效信息.小波包节点经过重构后的数据为熔池宽度特征的低频主体部分，其与熔池宽度变化的大致趋势一致.将分解后的信号输入神经网络中进行相应的预测和分类.

图5 熔池宽度特征小波包分解与重构结果Fig.5 Wavelet packet decomposition and reconstruction of molten pool width.(a) P(3,0); (b) P(3,1); (c)P(3,2); (d) P(3,3); (e) P(3,4); (f) P(3,5); (g) P(3,6); (h)P(3,7)

3 根部驼峰缺陷预测

3.1 长短期记忆神经网络

循环神经网络能够联系和储存上下时刻输入的特征信息，对具有时序联系的数据进行学习和预测[14].LSTM 神经网络是循环神经网络的一种，同样具有时序结构，LSTM 神经网络解决了经典RNN反向传播过程中容易出现梯度消失和梯度爆炸的问题，其神经元结构如图6 所示.LSTM 神经网络是在RNN 的基础上在神经元结构中加入记忆单元和调节门构成，包括输入门、输出门和遗忘门[15-16].

图6 LSTM 神经网络结构Fig.6 Structure of LSTM neural network

xt为当前状态下数据的输入，Ct-1，ht-1分别表示上一状态的长时记忆和短时记忆特征.

遗忘门可对当前时刻的输入进行有选择地遗忘，可以清除无效信息对神经元状态的影响，其计算公式[17]为

式中：σ为激活函数Sigmoid；Wf和bf为输入门的加权和偏置，输入门的作用是对当前时刻的输入数据进行有选择的输入，它决定了神经元细胞状态中需要更新的信息，具体计算式为

式中：Wi，Wc和bi，bc为遗忘门的加权和偏置.神经元细胞状态的更新是通过结合之前细胞状态经过、遗忘门的选择结果和通过输入门的所需要更新的新的信息来实现，即

输出门是用来控制神经元的输出，并将输出数据分别传输到下一层的神经元和同层的下一神经元中，即

式中：Wo和bo为输出门的加权和偏置.上述公式中的输入门、输出门和遗忘门中的参数Wi，Wo，Wf和Bi，Bo，Bf可以通过学习来不断更新.

通过图像分割算法提取的熔池和匙孔时序特征信息存在一定的噪声，会影响实际的预测效果.通过门结构，LSTM 神经网络的神经元可对焊接过程熔池和匙孔的时序特征信息有选择地判断是进行传递或是将其清除，把这些焊接过程的特征数据储存在记忆单元中以保留到焊接过程的下一时序，有利于降低噪声对根部驼峰缺陷预测的干扰.

3.2 预测试验设计及结果分析

通过提取熔池和匙孔时序特征预测背面焊缝的高度，进而识别焊缝根部驼峰缺陷.首先，对背部焊缝成形进行标定，将背部焊缝余高于1 mm 部分视为根部驼峰缺陷区域，标记为状态2，若背部焊缝余高低于或等于1 mm 则表明未出现根部驼峰缺陷，标记为状态1.然后，采用LSTM 神经网络以焊缝正面的视觉传感采集的时序特征对焊缝根部的驼峰状态进行实时预测.其中，神经网络模型的5 个输入特征分别为熔池长度WL、熔池宽度WW、熔池长宽比WR、熔池面积WA和匙孔面积KA.LSTM 神经网络模型中隐藏层神经元个数为200 个，全连接层设置为50 个神经元，学习率设置为0.005，随机失活(dropout)值是0.7.训练的周期设置为3 000.采用Adam 算法来进行梯度下降优化.提取出连续14 000 帧图像，其中连续的12 000 帧作为预测的训练集，剩余的连续的2 000 帧作为测试集，采用训练集数据按时序依次输入模型进行训练，训练完成后将测试集时序特征也按时序输入到训练好模型中，得到根部驼峰状态的预测结果，将其与标记的结果进行对比，如图7 所示.表2 为采用不同预测算法进行根部驼峰状态预测的准确率对比.

图7 采用不同预测算法的根部驼峰缺陷预测结果对比Fig.7 Comparison of root hump defect prediction results using different prediction algorithms.(a)BP; (b) SVM; (c) LSTM; (d) WPD-LSTM

从表2 可知，经过小波包对正面视觉提取的特征进行分解与重构后，再输入到LSTM 神经网络进行预测的准确率最高，达到97.85%，而直接将提取的时序特征用于LSTM 神经网络的方式准确率为86.25%，相较WPD-LSTM 算法稍低.通过对比预测结果和准确率发现，得益于LSTM 神经网络对时序特征信息的记忆和遗忘上面存在的优势，LSTM 与WPD-LSTM 预测算法的预测结果如图7c和图7d 所示，相对BP 神经网络算法和SVM 支持向量机不仅在预测准确性上存在优势，在预测的连续性方面相对后两者也存在明显优势[18-19].经过以上分析得出，对激光-MIG 复合焊进行正面的视觉采集，并将提取到的特征进行小波包分解并重构，然后将重构后的特征向量作为长短期记忆神经网络的输入进行根部驼峰缺陷的预测.此方法的预测准确率较高，能够满足驼峰缺陷预测的要求.

表2 采用不同预测算法的根部驼峰缺陷预测准确率(%)Table 2 Prediction accuracy of root hump defect using different prediction algorithms

4 结论

(1)提出了一种利用焊接过程正面视觉图像中的熔池和匙孔时序特征信息来预测根部驼峰缺陷的方法，建立了基于焊接过程时序特征信息的根部驼峰缺陷预测模型.首先采集焊接过程图像，通过图像分割提取出焊接过程熔池和匙孔的时序特征，对提取的时序特征进行小波包分解与重构后再输入LSTM 神经网络预测模型，对根部驼峰缺陷状态进行预测识别.

(2)WPD-LSTM 算法对背部驼峰缺陷的预测效果较好，准确率达到97.85%.相比未利用时序信息的支持向量机和BP 神经网络分类算法，其预测的准确率和连续性都更具有优势.