胡剑峰， 周家乐， 王慧锋， 张 俊

（1. 华东理工大学信息科学与工程学院，上海 200237；2. 上海海骄机电有限公司，上海 201800）

聚乙烯（Polyethylene，PE）管道具有质量轻、可回收、良好的密封性、使用寿命长和很好的耐腐蚀性等特点[1]，因此被广泛应用于城市燃气输送系统中。电熔焊接[2]是目前PE 管道常用的一种连接方式，若管道焊接接头存在焊接缺陷，则易发生燃气泄漏事故。PE 燃气管道的电熔焊接状况可通过相控阵系统拍摄的超声波图像获得，在电熔焊接缺陷识别过程中，需要由专业人员通过超声图像判断缺陷类别，并根据缺陷的严重程度判定缺陷等级。但是人工识别方法需要检测人员具有丰富的识别经验和专业知识，且识别过程耗时耗力，易发生漏检和错检现象。

利用图像处理方法对各种场景下的缺陷进行自动识别是近年来缺陷识别的一个发展趋势。Duan 等[3]采用人工提取焊接图像中的灰度特征和几何特征，并通过AdaBoost 算法实现金属管道的焊接缺陷分类。杨志超等[4]通过卷积神经网络实现金属管道的焊接缺陷分类，从而避免人工提取特征。Pan 等[5]通过TL-MobileNet 网络结构实现对焊接缺陷的分类，且效果良好。He 等[6]提出了一种基于多层特征融合的端到端的深度学习网络来识别缺陷并进行定位。Chen 等[7]提出了一种将卷积神经网络与贝叶斯数据融合的方法，能够识别视频类的缺陷。渠慧帆[8]采用改进的Faster-RCNN 识别并定位缺陷。针对基于超声波图像的PE 管道焊接缺陷识别问题，李礼彬等[9]提出了一种能够识别超声信号线的方法。黄跃鑫等[10]将图像中的灰度值按列求和并进行归一化，得到一组一维的灰度值信号，随后通过小波分析实现PE 管道冷焊缺陷识别。Bohlouli 等[11]利用数字图像处理技术对焊接图像进行预处理，通过小波变换获得缺陷特征向量，并采用神经网络算法判断超声图像是否存在缺陷。尽管自动化的缺陷识别方法得到了快速发展，但针对PE 管道的焊接缺陷问题仍未得到妥善解决。由于PE 管道在实际使用中可以容忍一定程度的焊接缺陷，所以在识别PE 管道的焊接缺陷时，不仅要能够准确识别缺陷的类别和位置，也同样需要识别缺陷的严重程度来确定缺陷等级，然而上述方法都没有有效解决如何识别缺陷等级的问题。

本文针对PE 管道的电熔焊接缺陷自动识别问题提出了一套完整的解决方法，可自动识别超声图像中是否存在焊接缺陷，以及焊接缺陷的类别与等级。首先通过数据增强技术扩充电熔焊接数据集；然后训练电熔焊接图像语义分割模型，并对焊接图像进行语义分割；采用数学形态学方法消除分割图中的噪声，并通过连通域分析法得到特征线、电阻丝线以及底部回波线等缺陷相关信息；最后依据电熔焊接标准及缺陷相关信息识别缺陷类别及等级。实验结果表明，本文提出的电熔焊接缺陷自动识别方法在准确率、召回率以及算法运行速度上都达到了工业应用要求。本文方法的主要创新点：（1）能够实现PE 管道电熔焊接缺陷的分类分级；（2）通过焊接标准制定每种缺陷的识别准则；（3）针对U-Net 网络深度较浅问题，采用残差网络对其进行了改进。

1 焊接缺陷自动识别方法

图1 所示为PE 管道焊接接头采用超声相控阵系统获得的超声图像。电熔焊接缺陷识别过程中需要专业人员人工识别每张图片中的特征线、电阻丝、底面回波线等与缺陷相关的信息，进而确定缺陷类别，并根据缺陷严重程度判定缺陷等级。本文提出了一种能够自动识别电熔焊接缺陷类别与等级的方法，该方法由4 步组成：（1）电熔焊接数据增强；（2）电熔焊接图像语义分割；（3）数学形态学去噪，并对图像进行连通域分析；（4）电熔焊接缺陷分类分级。

图1 超声图像Fig. 1 Ultrasonic image

1.1 图像数据增强

对数据集中的每张图片分别采用水平翻转、加噪声、水平翻转和加噪声3 种方式扩充数据集。水平翻转是以图像左边界为轴，将图像从右向左翻转180°。图像中所加噪声为椒盐噪声和高斯噪声。椒盐噪声是一种随机出现白点或者黑点的噪声，常用参数是噪声比例，该参数越大，图像中的黑白点越多；高斯噪声是指噪声信息服从高斯分布的一类噪声，高斯分布的概率密度函数如下：

其中： µ 为噪声的均值； σ 为噪声的方差。

1.2 图像语义分割

图像语义分割是近年来计算机图像处理方向的重要研究领域，常用于对图像内容的识别和分类。其作用是为输入图像中的每个像素点分配一个类别标签，使得属于同一物体的像素具有相同的类别标签，即这些像素拥有相同的语义。语义分割的网络模型[12-14]众多，其中的U-Net 网络参数少且分割效果好，是目前最常用的图像语义分割方法之一，被广泛应用于自动驾驶、医学图像分析等领域[15-17]。本文使用改进的U-Net 网络对电熔焊接图像进行语义分割。

U-Net 网络主要分为下采样和上采样两部分，下采样通过卷积神经网络提取图像中的特征；上采样通过对所提取的特征进行反卷积操作来还原图像像素所属类别。原始U-Net 网络因其下采样部分的卷积神经网络层数较少，无法提取足够的特征信息。针对此问题，本文采用Res-block 结构对其下采样网络进行改进。

Res-block 结构是ResNet[18]网络的核心，其采用跳跃连接的方式实现信息的融合并且能够缓解梯度消失问题，结构如图2 所示。改进后的U-Net，即残差U-Net 网络在下采样阶段由卷积层和Res-block 以及池化层构成，其中卷积层由原始U-Net 网络的10 层增加到17 层，提取了更多的特征信息；上采样阶段由反卷积层和卷积层组成，改进后的结构如图3所示。残差U-Net 网络不仅增加网络深度，而且缓解了网络中梯度消失问题。

图2 Res-block 结构图Fig. 2 Structure of Res-block

1.3 数学形态学去噪及连通域分析

数学形态学[19-21]是图像处理领域常用的一种方法。腐蚀和膨胀是数学形态学中两种最基本的运算，其数学公式分别见式(2)、式(3)。

其中：F(x,y) 表示图像位置及像素值；S(x′,y′) 表示结构元素，可根据具体应用定义； ⊕ 表示腐蚀运算符号； ⊕ 表示膨胀运算符号；Fe(x,y)、Fd(x,y) 分别表示腐蚀运算和膨胀运算的结果。腐蚀运算能够将图像中目标物体变小，膨胀运算则相反。

首先对语义分割后的图像进行数学形态学中的开运算。开运算是一种腐蚀运算与膨胀运算的组合运算，它能够消除背景中的小物体，起到去噪的作用。开运算的运算公式见式(4)。

其中： ° 表示开运算符号；Fo(x,y) 表示开运算结果。

经过去噪处理的图像再进一步通过连通域分析来确定缺陷相关信息。连通域分析是常见的图像处理操作, 其作用是将相同像素值且位置相邻的像素找出并标记，Seed-Filling 算法[22]是连通域分析常用方法之一。假设原始图像记为P，P(x,y) 表示图像坐标 (x,y) 的像素值，连通域分析后的图像为P′。Seed-Filling 算法具体步骤如下：

1.4 基于焊接标准的缺陷分类与分级

根据连通域分析的标记结果，并结合焊接标准对电熔焊接进行缺陷分类和分级。首先，经过连通域分析后可以得到K个特征线类别的连通域、N个电阻丝类别的连通域、M个底部回波类别的连通域，并定义每种类别的连通域几何参数，如表1 所示。

表1 标准相关的几何参数Table 1 Geometric parameters related to the standard

图3 残差U-Net 网络结构Fig. 3 Structure of residual U-Net network

DB31/T 1058-2017[23]是上海市的电熔焊接标准，也被国家标准[24]引用。该标准将焊接缺陷分为冷焊、过焊、孔洞、电阻丝错位、熔合面夹杂（如夹物、油污、氧化皮未刮等）共5 类，每类缺陷根据其程度进一步分为Ⅰ、Ⅱ、Ⅲ级。依据表1 的几何参数并结合焊接标准，定义焊接缺陷判别准则如下：

（1）冷/过焊。首先，若特征线类别的连通域个数为0，即K=0 ，则说明特征线未能通语义分割识别出，可直接判定为冷焊Ⅲ级缺陷。若K＞0 ，则根据式(5)计算特征线与电阻丝之间的距离：

随后，根据式(6)计算冷/过焊缺陷表征程度Hcold/over，并对照表2 确定缺陷类别及等级。

其中：lnormal表示正常焊接时特征线到电阻丝之间的距离，由具体管材型号确定。

表2 冷/过焊缺陷表征程度与缺陷类型、等级对照Table 2 Comparison of cold/over-welding defect characterization degree, defect categories and levels

（2）孔洞。首先，通过底部回波类别的连通域个数M确定是否存在孔洞缺陷以及孔洞的类型：若M= 1，说明不存在孔洞缺陷；若M＞ 1，则存在孔洞缺陷。其次，根据式(7)计算孔洞缺陷的表征程度Hhole，并参照表3 确定孔洞类型及等级。

其中：L表示熔合区长度，由具体管材型号确定。

（3）熔合面夹物夹杂。若存在n∈[1,N] ，使得rxmax(n-1)＞rxmin(n)，则说明存在熔合面夹物夹杂；熔合面夹物夹杂一旦存在，直接定为Ⅲ级缺陷。

表3 孔洞缺陷表征程度与缺陷类型、等级对照Table 3 Comparison of hole defect characterization degree,defect categories and levels

（4）电阻丝错位。首先，通过式(8)计算电阻丝连通域质心x方向上间距的平均值作为电阻丝质心x方向上的正常距离；通过式(9)计算电阻丝连通域质心y坐标的平均值作为正常情况下电阻丝质心的y坐标值。

其次，根据式(10)和式(11)计算电阻丝连通域中的最大偏离量dmax。最后，根据表4 确定电阻丝错位等级。

表4 电阻丝连通域最大偏离量与缺陷等级对照Table 4 Comparison between the maximum deviation of the connected domain of the resistance wire and defect levels

2 实验与结果分析

实验采用图形工作站作为实验平台验证算法的有效性。硬件配置：运行内存16 GB 的Intel i7-8750H CPU@2.20 GHz 处理器、显存2 GB 的NVIDIA Quadro P600 显 卡； 软 件 环 境： Ubuntu16.04LTS、python3.6 和FastAI 等。

2.1 电熔焊接缺陷识别结果评价指标

采用准确率(Accuracy)和召回率(Recall)作为识别结果的主要评价指标[25]，如式(12)所示。准确率表示正确识别的样本数量与样本数量的比值，该比值越大说明缺陷识别的效果越好。召回率表示正确识别正样本数量占所有正例样本数量的比例，该指标越大说明正确被预测的正例样本数越多。

其中：TP 表示被正确预测的正例样本数量；FP 表示被错误预测的负例样本数量；FN 表示被错误预测的正例样本数量；TN 表示被正确预测的负例样本数量。

2.2 实验数据

实验数据来源于上海某公司，所有数据被分为训练集和测试集。训练数据集包含焊接正常的图片和带有缺陷的图片共200 张，其中正常数据80 张，冷焊数据40 张，过焊数据30 张，孔洞数据30 张，熔合面夹物夹杂数据10 张，错位数据10 张。测试集包含152 张图片，其中过焊缺陷30 张，冷焊缺陷30 张，夹杂缺陷17 张，错位缺陷16 张，孔洞缺陷19 张以及正常焊接图像40 张。

2.3 实验过程

2.3.1 焊接数据增强 采用1.1 节中的数据增强方法进行数据增强。图4(a)为原始图片，图4(b)为水平翻转图，图4(c)为加入噪声比例为0.000 5 的椒盐噪声的电熔焊接图像，图4(d)为加入均值为0、方差为0.000 01 的高斯噪声的电熔焊接图像。通过上述方法对训练数据集进行数据增强，从原始的200 张图片扩增到1 000 张。

图4 电熔焊接数据增强Fig. 4 Data enhancement of electrofusion welding

2.3.2 图像语义分割 通过Labelme 工具对焊接图像中的3 个部分（特征线、电阻丝和底部回波）进行标注，图5 为图4(a)的标注图。

图5 焊接标注图Fig. 5 Labeling image of welding

采用数据增强后的电熔焊接数据集训练残差UNet 分割网络模型。batch size 设置为2，learning rate 设置为 1 ×10-3，采用Adam 优化器，激活层函数使用Relu 函数，输出层采用交叉熵损失函数。模型共训练了30 个Epoch，且训练准确率达到93.2%。训练完成后，对得到的模型进行测试。图6 为3 张测试图的效果图，可以看出预测图与标注图总体上十分接近，显示了网络模型较好的分割效果。

2.3.3 数学形态学去噪与连通域分析 电熔焊接图像经过图像语义分割后其结果可能存在少量噪声，如图7 所示。数学形态学中的开运算能够消除背景中的小物体，由于噪声大小与目标物体大小相差甚远，故采用 3 ×3 大小的结构元素对分割图实现开运算，结果如图8 所示，可以看出电阻丝下方的噪声已消除。

在完成焊接图像分割和形态学去噪后，采用Seed-Filling 算法对焊接分割图进行连通域分析，结果如图9 所示。

通过图像语义分割和连通域标记分析，使得图像不仅有目标物体的标记还有同种类别的不同连通域的标记。这种方法不仅有利于焊接缺陷的分类，也有利于焊接缺陷的分级。

2.3.4 基于焊接标准的缺陷识别与分级 根据1.4 节描述的方法对测试集中的电熔焊接图像进行分类分级。测试实验共分为三部分，分别为二分类实验、多分类实验以及分级实验。

图6 分割模型效果对比Fig. 6 Effect comparison of segmentation model

图7 噪声图Fig. 7 Image with noise

图8 去噪图Fig. 8 Denoising image

图9 连通域标记Fig. 9 Connected domain marking

（1）二分类实验。在二分类实验中，正例指含缺陷的电熔焊接图像，反例指正常的电熔焊接图像，准确率代表正确识别的焊接缺陷图像数量占所有焊接图像数量的比值，召回率代表被正确识别的焊接缺陷图像数量占所有含缺陷的电熔焊接图像数量。实验使用测试集中全部图像进行实验，实验结果如表5 所示，准确率达到92.8%，召回率达到为95.5%。

表5 二分类结果Table 5 Results of binary classification

（2）多分类实验。在多分类实验中，正例指含某种特定缺陷的电熔焊接图像，反例指其他类型缺陷的电熔焊接图像，采用召回率作为衡量指标。召回率代表被正确识别的某种特定焊接缺陷图像数量占该种缺陷所有的电熔焊接图像数量的比值。实验使用测试集中带有缺陷的112 张图像进行测试。识别结果如表6 所示，所有缺陷的召回率均达到90%以上，其中熔合面夹物夹杂缺陷和孔洞缺陷的召回率达到100%。

表6 多类别识别结果Table 6 Test results of multiple categories

（3）分级实验。在分级实验中，正例指含某种缺陷的特定等级的焊接图像，反例指含某种缺陷的其他等级的焊接图像，采用召回率作为衡量指标。召回率代表某缺陷类别中正确识别特定等级的焊接图像数量占该种缺陷特定等级的所有电熔焊接图像数量的比值。实验对30 张冷焊缺陷数据和30 张过焊

缺陷数据分别进行等级评定，其中冷焊缺陷中Ⅰ级5 张，Ⅱ级10 张，Ⅲ级15 张；过焊缺陷Ⅰ级6 张，Ⅱ级5 张，Ⅲ级19 张。冷/过焊缺陷等级划分需要采用公式(6)并参考表2 进行缺陷分级，最终评定结果如表7 所示。可以看出冷焊与过焊分级的准确率都达到80.0%以上，且召回率都高于80.0%。其他焊接缺陷根据相应规则也能实现分级，但由于其他缺陷各等级数据量过少，故无法进行等级测试。

表7 冷/过焊缺陷等级划分结果Table 7 Results of classification of cold/over welding defects

实验还统计了整个算法运行的时间，除了加载语义分割模型的时间，一张电熔焊接缺陷的自动识别时间能达到60 ms 左右。

2.4 结果分析与讨论

在实际工程中，一般首先判断电熔焊接图像是否存在焊接缺陷，即缺陷二分类；其次对二分类得到的焊接缺陷图像进行具体缺陷细分，即缺陷的多分类；最后将细分后具体的缺陷类别进行等级划分，即缺陷分级。根据工程要求，缺陷二分类的准确率要求达到90.0%，召回率达到95.0%；缺陷多分类的召回率达到80.0%；缺陷分级的召回率达到65.0%且算法运行速度达到每张333 ms 时，本文方法可以应用到实际工程中。通过对实际指标要求与上述实验指标数据对比，本文方法的各项指标均满足实际要求。

但本文方法也存在如下风险：（1）在实验过程中，learning rate 和batch size 等参数均根据经验与实验平台性能确定，可能存在更好的参数设置；（2）存在测试数据过小的风险；（3）采用其他型号的超声相控阵系统得到的焊接图像进行实验时，各种缺陷识别评价指标可能会有所变化。因此，本文的识别算法还可以在以下方面进一步加以改进：

（1）使用参数自动搜索技术，进一步改善实验结果；

（2）随着系统的投入使用，可以得到更多的图片来进一步测试和改善多分类和分级的效果；

（3）将该算法运用于更多类型的超声图像，使其更好的泛化能力；

（4）对PE 管道焊接缺陷中的油污夹杂、氧化皮未刮等未能识别的焊接缺陷进一步研究。

3 结 论

本文针对电熔焊接缺陷分类分级问题提出了一种将数据增强、图像语义分割、数学形态学去噪以及连通域分析等技术相融合并结合电熔焊接标准的PE 管道电熔焊接缺陷自动识别方法。该方法的优势如下：（1）不用人为地提取图像中的特征；（2）不仅能够焊接缺陷分类，而且能够对缺陷进行分级；（3）结合电熔焊接标准对焊接缺陷进行分类与分级，能够说明分类分级的合理性与可靠性；（4）能够识别同一张焊接图像中的多种缺陷。实验证明各项指标满足均实际工程要求，能够满足实际应用。目前该方法已应用于实际项目中，运行效果良好。