孙江浩 张勇 周伟 韦子辉 刘霜 方立德

摘  要： 焊接技术在游乐设施生产制造中具有不可替代的作用，焊接的质量直接决定着产品运行的安全性和可靠性，因此建立合理的游乐设施焊接缺陷检测系统，检测焊接外表面是否具有缺陷，对提高游乐设施的焊接生产质量具有重要意义。使用Matlab图像处理软件和Python语言开发焊接缺陷识别系统，对焊缝中的气孔、裂纹、咬边三种缺陷进行图像处理，提取焊接缺陷特征，并用神经网络建立焊接缺陷识别模型。实验结果表明，该系统对焊接过程中存在的气孔、裂纹、咬边三种缺陷的整体识别率可达92.86%，具有较好的识别率，有助于确保游乐设施焊接生产的质量。

关键词： 焊接缺陷检测; 游乐设施; 图像处理; 特征提取; 缺陷識别模型; 识别率

中图分类号： TN911.73?34                         文献标识码： A                      文章编号： 1004?373X（2020）23?0039?05

Abstract： The welding technology has an irreplaceable function in the manufacture of amusement facilities. The welding quality determines the operation safety and reliability of the product directly. Therefore， a reasonable detection system for the welding defects on the amusement facilities is established to detect whether the outer surface of the welding has defects， which has great significance for the welding quality of amusement facilities. In this paper， the image processing software Matlab and Python are used to develop a welding defect recognition system. The image processing is adopted to deal with three defects of stomata， crack and undercut in weld， and extract the weld defect features. The welding defect recognition model is established by means of neural network. The experimental results show that the system′s overall recognition rate of the three defects of the pores， cracks and undercuts in the welding process can reach 92.86%. That′s good enough to ensure the quality of the welding production of the amusement facilities.

Keywords： welding defect detection; recreational facility; image processing; feature extraction; defect recognition model;  recognition rate

0  引  言

在游乐设施焊接生产过程中，零件表面或近表面可能存在焊接缺陷的隐患。这些缺陷的出现会导致产品质量下降，使游乐设施运行过程具有潜在的风险，轻则导致项目运行故障，重则导致项目在运行中发生断裂，出现人员伤亡，因此在焊接完成后，对零件表面或近表面进行焊接缺陷检测具有重要意义。

随着图像处理技术以及人工智能的发展，除了原有的磁粉探伤法、超声波探伤法、射线检测法以及声发射检测法，人们开始对图像处理检测法进行研究，其目的就是利用机器人模仿人类思维，对焊接缺陷进行检测或者对缺陷种类进行判别。

目前，国内外对图像处理检测研究最多的领域在射线检测上，比如文献[1]采用B样条曲线拟合出焊缝的灰度曲线，同时利用数学形态方法对缺陷进行形状和大小的研究，解决了X射线数字图像对比度、背景起伏大以及纹理复杂的问题。文献[2]对焊缝X射线进行图像处理时，采用缺陷追踪技术的同时用霍夫变换的方法，减少了由于噪声产生的伪缺陷，从而增强了缺陷的识别效果。文献[3]对X射线检测焊缝图像的缺陷表征方法进行了研究，通过几何特征和纹理特征表征不同种类的缺陷，并用支持向量机对缺陷进行区分。文献[4]筛选出常用于图像缺陷表征的几何特征参数，并利用多层感知机神经网络对焊缝进行分类。文献[5]利用主成分分析法对焊缝圆形和线性缺陷类型分类，利用支持向量机分类器实现了线形和圆形缺陷识别。

但是由于射线探伤检测费用高，对人身体有害，大部分企业将其用在检测焊接内部是否有缺陷，而焊接表面缺陷更多的是用人眼去识别，这样极容易产生视觉疲劳，造成缺陷漏检。

为了实现焊接外表面缺陷的自动识别，文献[6]利用Matlab与VB语言建立了焊接缺陷图像预处理系统，实现了视觉效果较好、图像对比度高的焊接缺陷图像;文献[7]在采集焊接图像后，运用图像预处理、图像增强、背景分割、二值化处理和轮廓提取等图像处理技术，有效地提取出焊接缺陷特征。文献[8]用OpenCV图像设计语言，设计一种计算机的船舶焊缝缺陷识别系统，实现了船舶焊缝缺陷的识别与评级，极大地提高了船舶焊缝检测的工作效率和船舶焊接质量。文献[9]通过分析焊缝图像的问题特征，从焊接图像的灰度共生矩阵中提取出15种特征参数，并利用BP神经网络对这些特征参数进行训练，最终整体识别率达到91%。文献[10]利用离散小波变换从焊缝图像中提取出其表面纹理特征，并用支持向量机对焊缝表面缺陷进行分类。

在游乐设施生产过程中，常用磁粉探伤检测近表面是否有焊接缺陷，然后用人眼判断表面及近表面焊接缺陷的种类。这样工作效率低，长期工作容易产生漏检、错检的现象。因此，本文对焊接外表面缺陷自动识别进行研究分析，运用Matlab软件对缺陷照片进行灰度处理、滤波处理、Canny提取边缘以及形态学处理，从而达到对焊接缺陷特征参数提取效果，利用神经网络建立识别模型，在实际生产过程中，采用工人现场手机拍照的方式，将照片上传至系统内，从而识别焊缝缺陷的种类，给维修人员提供参考价值，提高游乐设施焊接生产的质量。

1  焊接图像预处理与缺陷特征提取

由于工廠现场光线较暗，工人在焊接时产生的孤光对拍照效果影响较大，在拍照的过程中不仅需要调整手机的光照强度还要远离焊接作业区域，从而保证成像的效果;其次，在焊接完成后，焊接表面会产生反光不均匀或者药片未清理干净的情况，这样的照片在处理过程中会产生非缺陷性干扰，因此在对焊接表面进行拍照时，应该用铁刷对焊缝表面进行打磨，使得焊缝表面无药片残留，无明显的亮暗不均现象;最后，在对焊缝表面进行拍照时，需要将手机拍照倍数放大，这样不仅可以放大缺陷的图像，还可以使焊缝在照片中所占的比例较大，减少了周围环境的影响。

本研究的原始图片均为彩色照片，转换为灰度图像后，由于对焊接缺陷进行拍照时会产生光照不均的现象，对灰度图像进行滤波处理，将滤波后图像进行二值化后，用Canny边缘检测使缺陷边界更加清晰，通过膨胀、消除小面积区域等方法，将焊接图像中的缺陷信息表达出来。

本文照片来自于保定市某游乐设施生产厂家的焊接车间，通过Matlab图像处理后，得到含气孔缺陷130张、含裂纹缺陷120张、含咬边缺陷120张，总计370张照片，示例图如图1所示。

1.1  焊接图像预处理

灰度处理作为图像处理中最简单的技术，其主要作用就是增强图像对比度，凸显图像的细节。本研究的灰度处理为加权平均法，将RGB图像转化为灰度图。

在焊接图片采集过程中，由于焊接金属表面光滑，图片呈现高反光现象或因拍摄环境光线不足使图片整体较暗，出现图像光照不均的现象。目前处理光照不均的方法有直方图均衡化、基于照明反射模型的同态滤波、基于光照补偿Retinex方法等，但是直方图均衡化对处理灰度反差大的图像有较好的效果，基于照明反射模型的同态滤波法与基于光照补偿的Retinex方法对反光或光照不均具有较好的效果[11]。文献[12]通过实验对比高斯高通滤波、巴特沃斯高通滤波、指数滤波3种方法，实验表明高斯高通滤波具有较好的处理效果。

1.2  焊接图像缺陷特征提取

二值化处理在图片处理中具有非常重要的地位，可以使图像变得简单，同时能够凸显出目标的轮廓，其图像处理效果如图5所示。

边缘检测的目的是检测图像中有意义、不连续的点位，常见的边缘检测算子有Roberts，log等算子，但是这些算子抗干扰能力差，适用于噪声少且较为简单的图像[13]，从图5中可以看到，二值化后的图片边缘模糊且有些地方边缘出现不连续现象，文献[14]中对Canny边缘算子、Roberts算子、log算子处理后的图像进行了比较。因此本文采用Canny边缘检测算子，其图像处理效果如图6所示。

形态学图像处理可以通过腐蚀、膨胀等方法将边缘检测后的目标图像中目标区域变小或变大，目的是为了消除小且无意义的目标物或填补目标中某些空洞以及小颗粒噪声。文献[15]利用闭运算即先膨胀后腐蚀的方法将目标中狭窄的间断连接起来，同时也不会影响裂纹形状的大小。图6中咬边图像的间距过大，闭运算无法使其连接起来，所以仅采用膨胀算法。

1.3  特征入库

运用函数regionprops在Matlab中提出缺陷的特征值，并与缺陷类别一同放入数据库当中，提取出的特征参数有以下9种，分别为：MajorAxisLength为与区域具有相同标准二阶中心矩的椭圆的长轴长度;MinorAxisLength为与区域具有相同标准二阶中心矩的椭圆的短轴长度;Eccentricity为与区域具有相同标准二阶中心矩的椭圆的离心率;EquivDiameter为与区域具有相同面积的圆的直径;Solidity为同时在区域和其最小凸多边形中的像素比例;Extent为同时在区域和其最小边界矩形中的像素比例;Perimeter为图像的周长;Thinnessratio为图像各个区域的细度比例;Aspectratio为图像各个区域的宽高比。

2  基于全连接神经网络的焊接缺陷分类识别方法

从采集的370张存在焊接缺陷的照片中，首先选取其中的300张作为训练用的样本图片，同时标记1～100的训练集为裂纹缺陷，101～200的训练集为气孔，201～300的训练集为咬边，剩余70张作为测试样本图片，分成4组进行识别训练，第一组为20张裂纹图，第二组为30张气孔图，第三组为20张咬边图，第四组对70张样本图片打乱顺序后进行识别。训练样本和测试样本数量见表1。

2.1  全连接神经网络基本原理

神经网络对图片进行分类识别是目前最为常见的方法，具有运算速度快、容错能力强以及丰富的联想能力等，这些优势能够使神经网络很好的进行分类识别。本文以全连接神经网络为模型，以焊接缺陷特征信息作为输入，焊接缺陷种类为输出，构建如图9所示的1个输入层，2个隐含层以及1个输出层的模型。其中，输入层神经元个数为9，即图像预处理后得到的9维焊接表面缺陷信息数据集，经过神经网络隐层节点数目公式可得到隐层中节点数为35，最后输出层神经元个数为3，对焊接表面缺陷种类进行判断。

前一层的每个节点均与后一层的每个节点连接，假设输入层到隐层1的权重为[wji]，隐层1到隐层2的权重为[wkj]，隐层2到输出层的权重为[wlk]，输入层到隐层1的偏置值为[aj]，隐层1到隐层2的偏置值为[bk]，隐层2到输出层的偏置值为[cl]，激励函数为常见的ReLU函数，其表达式为：[fz=max （z，0）]，[n]为样本数量。

焊接图像全连接神经网络识别流程如图10所示。具体步骤如下：

1） 提取出的气孔、裂纹、咬边三种焊接缺陷特征参数先通过前向传播获得预测值。

2） 计算神经网络的预测值与正确值的差距。

3） 通过反向传播相应的更新神经网络的参数。

4） 迭代一定次数后，得到神经网络最终的参数。

5） 利用训练好的神经网络模型对待测样本数据进行识别，从而实现焊接外表面缺陷的自动识别。

2.2  识别结果

本研究分别对气孔、咬边、裂纹以及混合后整体进行了识别研究，识别结果如表2所示。

本研究对气孔的识别率为93.33%，对咬边的识别率为85%，对裂纹的识别率为100%，整体识别率为92.86%，具有较好的整体识别率。

3  图像处理系统实现

本研究所用的相机为苹果手机，通过对有缺陷的焊缝进行拍照，将照片上传至系统内，从而达到识别缺陷的效果。系统只能由专门的管理人员登录，系统登录界面如图11所示。

系统界面主要由三部分组成，其中最左侧为焊接缝表面缺陷识别依据，该识别依据来源于样本数据的实时范围，中间为图像识别按钮，最右边为识别出的图片，最下方为识别的结果，具体界面如图12所示。

4  结  论

根据游乐设施焊接表面质量评价的需要，本文对焊接表面缺陷自动识别进行研究，得到以下结论：

1） 通过Matlab软件处理图片，解决了因为反光导致的焊接照片光照不均的问题，得到了处理效果较好的图片，确定了咬边、裂纹、气孔三种缺陷的9种特征参数即：MajorAxisLength， MinorAxisLength， Eccentricity， EquivDiameter，Solidity，Extent，Perimeter，Thinnessratio，Aspectratio。

2） 对三种缺陷的特征参数进行神经网络训练，建立全连接神经网络模型，同时对待测样本进行识别，实验表明气孔、裂纹、咬边的识别率分别为93.33%，100%，85%，整体的识别率为92.86%，识别效果较好。

3） 利用Python可以调用Matlab中函数的优点，建立焊接缺陷自动识别系统。

参考文献

[1] 梁硼，魏艳红，占小红.基于B样条曲线的X射线图像焊缝缺陷分割与提取[J].焊接学报，2012，33（7）：109?112.

[2] CHANG Baohua， SHAO Jiaxin， DU Dong， et al. Automatic weld defect detection based on potential defect tracking in real?time radiographic image sequence [J]. NDT&E international， 2012， 46（1）： 14?21.

[3] VALAVANIS I， KOTSIOPOULOS D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features [J]. Expert systems with applications， 2010， 37（12）： 7606?7614.

[4] LIM T Y， RATNAM M， KHALID M. Automatic classification of weld defects using simulated data and an MLP neural network [J]. NewsLink： newsletter of the international association of quality practitioners， 2007， 49（3）： 154?159.

[5] 高炜欣，胡玉衡，武晓朦，等.埋弧焊X射线焊缝缺陷图像分类算法研究[J].仪器仪表学报，2016，37（3）：518?524.

[6] 周春成，张爱梅.焊接缺陷图像预处理初探[J].矿山机械，2011，39（4）：109?112.

[7] 葛志霞，魏海坤，张侃健.基于图像处理的自动化焊接缺陷特征提取与焊接质量分析[J].工业控制计算机，2018，31（5）：64?65.

[8] 王磊.计算机视觉在船舶焊缝缺陷识别的应用[J].舰船科学技术，2018，40（8）：196?198.

[9] 焦敬品，李思源，常予，等.集箱管接头内焊缝表面缺陷识别方法研究[J].仪器仪表学报，2017，38（12）：3044?3052.

[10] BHAT N N， KUMARI K， DUTTA S. Friction stir weld classification by applying wavelet analysis and support vector machine on weld surface images [J]. Journal of manufacturing processes， 2015， 20（7）： 274?281.

[11] 刘毅，贾旭芬，田子建.一种基于同态滤波原理的井下光照不均图像处理方法[J].工矿自动化，2013，39（1）：9?12.

[12] 杜培明，邱现林.同态滤波下光照不均QR图像校正研究[J].软件导刊，2013，12（11）：159?161.

[13] 王弘毅，赵欢.基于数学形态学预处理的Canny算子边缘检测算法[J].菏泽学院学报，2019，41（2）：25?29.

[14] 何学明.一种基于Canny检测算子的声呐图像边缘检测技术[J].公安海警学院学报，2019（2）：63?67.

[15] 邵闯，王生怀，徐风华，等.基于图像处理的混凝土表面裂缝检测研究[J].湖北汽车工业学院学报，2019，33（2）：47?50.