何国忠，梁 宇

基于卷积神经网络的PCB缺陷检测

何国忠，梁 宇

(云南大学软件学院，云南 昆明 650504)

印刷电路板(PCB)在生产制造中由于生产工序等问题易导致电路板存在瑕疵缺陷，为提高对电路板缺陷的检测效率，提出了一种基于卷积神经网络(CNN)的电路板缺陷检测网络。该检测网络基于YOLO v4网络进行优化改造，针对于PCB制作精密、复杂，各类缺陷不易检测的难点，在优化后的网络中加入了基于细粒度空间域的长距离全局注意力机制，同时在SPP模块的基础上进行特征图重组作为各YOLO检测头的输入。通过使用长距离注意力机制通道将浅层网络提取到的特征传递到深层网络中，并采用特征图重组的方式提升特征信息丰富度，从而提高对于PCB缺陷检测的精度。经实验分析，与各类经典CNN相比，在PCB缺陷检测任务中，该算法有较大优势，整体缺陷的平均检测精度均值(mAP)达到91.40%，适用于实际生产、检测环节。

印刷电路板；深度学习；卷积神经网络；缺陷检测；注意力机制

在工业制造4.0的背景下，工业水平快速进步、生产力飞速提升，这一切均离不开智能工业生产设备，而工业化生产设备的核心组件则是每一块制作精密的印刷电路板(printed circuit board，PCB)。目前PCB具有高密度、多层化的特点，即小体积、多功能，对其制造工艺有了更严格要求。但目前，PCB的制造工艺还不能很好地满足集成电路的发展水平，在生产中易出现各种产品缺陷，若缺陷品流入市场，在日后的使用当中则会导致设备故障和损坏。因此对于PCB的缺陷检测是其生产制造环节中的重要一环。

目前，对于PCB缺陷检测方法大体上可以分为3类：一是早期的人工检测，该方法的检测精度及效率极大地依赖于检测人员的工作经验，同时检测精度也随工作时间的持续而降低，其不稳定性较高；二是目前使用较广的基于电气特性的缺陷检测，该方法具有精度高、检测快的特点，如文献[1]提出的一种内置的电气测试电路，用于检测PCB的焊盘和IC之间的互连处的开路缺陷，采用电气测试时需要对PCB进行通电等接触性操作，但存在二次损坏的可能；三是新兴的基于计算机视觉的检测方案，如文献[2]采用TDD-Net卷积神经网络(convolutional neural network，CNN)对PCB的缺陷进行检测，采用图像识别检测无需与PBC直接接触避免了二次损坏的可能，同时随着计算机硬件的发展对于图像的检测效率也有了大幅提升，同时，基于深度学习的目标检测算法与传统检测算法在检测精度和速度均有了大幅提升，越来越多的识别检测场景采用该方案进行落地转化。

CNN能够对输入数据进行自动学习并获取检测目标的特征信息，无需人工设计特征器对目标进行特征提取与检测，使得CNN在检测性能方面拥有更强的鲁棒性。因此，本文采用CNN作为PCB缺陷特征的提取器，搭配检测头进行缺陷检测。本文选用了常见的8类PCB缺陷，分别为missing hole，mouse bite，open circuit，short，spurious copper，spur，pad damage和scratch。PCB缺陷的检测难点为缺陷区域面积小，且与周围正常区域相似不易区分。在CNN进行特征提取时，输入的图片由于下采样层逐渐缩小了图片的面积，致各类缺陷目标再次缩小，特征不易被提取到。针对这些难点，本文设计了细粒度的空间域全局注意力机制，对浅层网络特征信息进行细粒度去冗余处理后再进行复用；同时增加了网络中空间金字塔池化(spatial pyramid pooling，SPP)模块的数量，并对其输出进行融合，以丰富特征图中的特征信息，有效地解决了PCB缺陷目标小、特征信息少的问题。

1 相关研究

1.1 目标检测算法

计算机视觉的目标检测技术，根据时间线可以分为2大类：①以HOG[3-5]，DPM[6-7]算法为代表的传统目标检测算法，其实现原理是通过人为设计目标的特征检测器，因人工设计其局限性较大，仅能在简单的场景下对目标进行识别；②基于神经网络的深度学习检测方法，能够自动提取目标特征，在拟合性、鲁棒性等方面均优于传统目标检测方法，被广泛应用于图像检测领域[8-10]。CNN检测方法，根据应用需求的不同也延伸出了2种方法：①以获取高精度为需求的双阶段检测网络，其检测流程分为2个阶段，第一个阶段，先从输入的图片中提取出候选区域即可能存在有目标的区域，第二个阶段则根据目标的特征信息对候选区域进行预测[11]；②以检测速度为首要考虑因素的方法，为单阶段检测网络，不同于双阶段检测网络，其无需候选区域，可采用线性回归的计算方式直接对目标的类别及位置进行预测。根据生产车间流水化作业，流程快速、准确的特性，本文选用YOLO v4单阶段检测网络，在保证检测速度的同时优化网络结构，以提升检测精度[12]。

1.2 YOLO网络

YOLO网络在结构上分为负责目标特征提取工作的主干网络及负责目标类别、位置预测的检测网络2部分。在YOLO v4网络中，主干网络采用的是CSPDarkNet结构，为典型的残差网络，通过残差恒等映射的方式避免了梯度消失问题，使得网络的层数更深，可获取更多的特征信息，且丰富的特征信息为检测网络的预测精度提供了保障。在YOLO检测网络中对于目标的预测流程为：

(1) 输入到检测器的特征图被划分为若干个网格区域，并将检测任务由全图细分到每个网格区域，当检测目标的中心点位于某个网格时，则由该网格负责对目标的位置及类别信息进行预估。

(3) 在完成所有anchors预测框的得分后，再由非极大值抑制(non-maximum suppression，NMS)算法对同一目标的多个预测框或得分值较低的预测框进行去冗余处理，得出最终的预测结果并输出。

2 网络结构优化

PCB缺陷检测难点在于缺陷区域的面积过小，缺陷特征在图片不放大的情况下不明显，即不易被检测器所提取，存在较为严重的漏检情况，不能满足生产检验环节的实用要求。为解决目标小、特征少的问题，本文基于YOLO v4网络提出了2个改进方案，以提升主干网络对于小目标的特征获取能力。

2.1 细粒度空间域全局注意力模块

对于深度卷积神经网络而言，整体结构呈倒金字塔形，特征图的大小同整个网络结构同时进行缩放，即网络越深，特征图越小。对于图中的小目标，其特征信息因池化下采样操作被区域周围的特征信息同化而消失。为解决该问题，本文设计了细粒度空间域的全局注意力模块，该模块的作用有2个，一是通过全局的连接通道将主干网络的首尾相连，使得浅层网络的特征能够复用于深层网络之中。该设计以CNN结构的功能划分，对于浅层网络部分，由于输入的图片经过的卷积计算较少，其特征值主要反映了目标的形态特征；而在深层部分，由于经过充分的卷积计算，特征值主要反映了目标的类别特征即语义特征。而通过全局域的连接通道将浅层的形态特征补充到深层网络进行语义特征的提取，避免了小目标特征丢失的问题。二是在于细粒度的空间域注意力机制，其目的在于浅层的特征图同时包含前景和背景的形态特征。对于小目标而言，特征图中前景信息更加稀少，因此采用基于空间域的注意力机制对存在有目标的空间域信息进行加权，且通过对特征图的通道分组加权实现细粒度注意力功能，所提取的加权区域更有针对性。图1为本文所设计的模块结构，模块由2部分组成：①对特征图的细粒度及空间加权进行处理，首先将特征图依据通道数量等分为组新的特征图，每组特征图的通道数为原来的1/。然后，对每张新的特征图均执行以下操作，即新生成的特征图由卷积核个数为1的1×1卷积层进行特征图压缩，并由Sigmoid激活函数对特征图进行赋值加权，之后将所有的特征图进行add相加操作，再由1×1卷积层对特征信息进行整合，至此获得完整的空间权值信息；②特征融合，将得到的空间权值特征图与需要传递的特征图进行相乘赋值，完成后的特征图经由1×1卷积层与ReLU激活函数传递到网络的深层。该模块在网络深层补充了小目标的形态特征信息，使其能够被网络捕获继而转换为语义特征信息，以解决小目标在深层网络中语义特征丢失的问题。

图1 细粒度空间域全局注意力模块

2.2 基于SPP模块的输出通道混合

在CSPDarkNet网络的末端含有一个SPP模块，该模块通过采用不同大小的池化层分别获取全局与局部的特征，之后进行融合操作以获取综合特征信息。但整个网络仅包含有一个SPP模块，对于其他尺度的YOLO检测头而言无法直接利用该融合后的特征[13-16]。本文以网络的默认输入608×608为例，在CSPDarkNet网络中的38×38和76×76CSPRes模块后各增加了一个SPP模块，即每个尺度的检测层均配备专属的SPP模块来获取主干网络所提取的特征。但在网络结构分布上，3个SPP模块同样具有不同深度层次的分布，本文对其输出进行通道混合，并输入到对应的检测模块中，整体实现结构如图2所示。其中彩色部分为通道混组模块，即每个尺度的SPP模块输出后会将综合信息通过上采样或下采样的方式传递到另外2个SPP模块中。融合采用上采样与下采样的方式，将3个SPP模块输出的特征图大小进行适配，并在add层将不同输出且大小一致的特征图进行融合。SPP模块在输出通道混组后，等效于每个SPP模块的输出具有了大、中、小3个尺度的综合信息，相较于之前的特征信息更加丰富。最后，每个尺度的SPP输出后经一个卷积组加工并直接输入到检测器中，如图2中的“Process”模块所示，该模块由一个1×1和一个3×3卷积层进行特征提取后，由Leaky ReLU激活函数进行激活，最终输入到检测器中。相较于优化前SPP模块的输出特征需要通过多个卷积组加工及上、下采样操作才可输入到不同尺度的检测器，本文所设计的混组方案在计算及特征应用效率上有明显提高。

图2 基于SPP模块的通道混合结构

3 实验与分析

3.1 超参数设置及评估指标

PCB缺陷检测目标的大小具有极端性，为了最终的预测结果能够更精准地框选出缺陷区域，本文在模型训练前对anchors组的尺寸进行了重新计算。采用K-means++算法对数据集中所有的Ground Truth尺寸进行聚类分析，默认图片的输入尺寸为608×608，每个YOLO检测器配置3个anchors，聚类后得到9组尺寸：

19×19 YOLO-Head：(18,33)，(18,19)，(24,24)

38×38 YOLO-Head：(24,48)，(30,29)，(32,17)

76×76 YOLO-Head：(39,39)，(47,23)，(69,76)

本文为评估模型的检测性能引入了以下评估指标

3.2 实验结果分析

本文采用的数据集在文献[2]的开源数据集上进行了数据样本与类型的扩充，数据由原来的10 668张扩充至11 668张，类别在原有基础上增加pad damage和scratch 2类，以使缺陷检测范围更广，模型通用性更强。

首先本文针对第2节所述的优化方案进行消融实验并分别分析细粒度空间域全局注意力模块与SPP模块的通道混合架构对网络的提升。从宏观数据指标上进行评价。测试结果见表1。

表1中，细粒度空间域全局注意力模块与SPP模块的通道混合架构均能够提升YOLO v4网络对于PCB板的缺陷检测能力。对于细粒度空间域全局注意力模块而言，其通过加强浅层特征信息的利用，提升了检测器对于检测目标的感知能力，测试结果中对于召回率指标有明显提升；其次优化后的SPP模块通道连接方案，强化了特征丰富度，检测器对于目标所属类别的判定可以依据更丰富的特征信息进行，使得类别属性检测精度有所提升。综上，通过消融实验证明本文方案对于YOLO网络在PCB缺陷检测任务中的检测性能有所提升。

表1 消融实验对比结果

另外在实验环节中增加Faster RCNN，SSD及YOLO v4网络同优化后的YOLO New进行训练及测试。对于不同模型每个类别的Recall，Precision，F1score及AP的4个指标测试结果分别见表2～5。

表2 Recall测试对比结果(%)

表3 Precision测试对比结果(%)

表4 F1-score测试对比结果

表5 各类目标AP值及mAP测试对比结果(%)

表2中，Faster RCNN网络的双阶段网络结构采用候选框机制遍历特征图，可较全地检测到图中的目标，而对于单阶段目标SSD和YOLO v4查全能力则较弱，且召回率差距过大，是因SSD所采用的主干网络为VGG，其在卷积层数上仅有YOLO v4的十分之一，说明了网络层数越多对于特征的提取效果越好。基于YOLO v4优化后的YOLO New采用全局注意力机制加强了对于浅层形态特征的利用，使得在网络深层处还能保存小目标的特征信息，查全率与Faster RCNN相近，“scratch”较优化前提升了25%。

表3中，Faster RCNN网络虽然具有优秀的查全能力，但在PCB中有与无缺陷区域只存在微小的差别，使得滑动遍历得到的候选框中同时包含有与无缺陷区域，致使对分类器的分类精度有较大的影响。而单阶段的网络则不具有背景区域的影响因素，整体分类精确率要高于Faster RCNN网络。而YOLO New各类目标的精确率均高于YOLO v4，说明新增SPP通道组合模块对于特征信息丰富度的补充在一定程度上提升了检测器对于目标的分类能力。

表4和表5中的F1-Score及mAP指标均反映了YOLO New在PCB缺陷检测任务中出色的性能，对于绝大部分类型的缺陷，其检测精度可达95%以上，保证了实际应用的可靠性。

图3直观反映了各模型在实际检测中的检测水平。Faster RCNN网络虽能检测出所有缺陷目标，但候选区机制使得同一目标存在多个预测框；对于SSD特征提取本文采用的是VGG，因网络结构较为简单无法从PCB中提取出有效的目标特征，致使检测器无法检测出缺陷区域；从图中可以看出YOLO v4存在漏检的情况，而YOLO New则能够将所有缺陷目标检测出来，且不存在与Faster RCNN相似的多检情况，实际使用效果更佳。

(a)(b)(c)(d)(e)

4 结束语

本文针对于PCB制造过程中产生的缺陷提出了一种基于CNN的检测模型。其解决了检测目标小、特征信息少、不易检测的问题。网络结构基于CSPDarkNet网络进行优化，在整体网络中加入了细粒度空间域的全局注意力机制，将浅层的特征加权后传递到深层网络之中，并对其语义特征进行补充。另外，增加了网络中SPP模块的数量，每个检测维度对应的CSPRes模块均配备了SPP模块，并对每个SPP模块的输出进行了融合操作，丰富特征的综合度。经实验测试，本文设计的优化方案使得YOLO v4网络相较于优化前精度提升了6.88%，对于检测能力的鲁棒性有了较大提高，为之后的进一步研究奠定了扎实基础。

[1] WIDIANTO W, YOTSUYANAGI H, ONO A, et al. A built-in electrical test circuit for interconnect tests in assembled PCBs[C]//2012 2nd IEEE CPMT Symposium Japan. New York: IEEE Press, 2012: 1-4.

[2] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[3] LEI Z. Histogram of oriented gradient detector with color-invariant gradients in Gaussian color space[J]. Optical Engineering, 2010, 49(10): 10970: 1-109701: 8.

[4] SUN L, LIU G Z, LIU Y Q. Multiple pedestrians tracking algorithm by incorporating histogram of oriented gradient detections[J]. IET Image Processing, 2013, 7(7): 653-659.

[5] MANIKONDA S K G, GAONKAR D N. Islanding detection method based on image classification technique using histogram of oriented gradient features[J]. IET Generation, Transmission & Distribution, 2020, 14(14): 2790-2799.

[6] ALYAMMAHI S, BHASKAR H, RUTA D, et al. People detection and articulated pose estimation framework for crowded scenes[J]. Knowledge-Based Systems, 2017, 131: 83-104.

[7] XU J L, RAMOS S, VÁZQUEZ D, et al. Hierarchical adaptive structural SVM for domain adaptation[J]. International Journal of Computer Vision, 2016, 119(2): 159-178.

[8] SENGUPTA S, BASAK S, SAIKIA P, et al. A review of deep learning with special emphasis on architectures, applications and recent trends[J]. Knowledge-Based Systems, 2020, 194: 105596.

[9] POUYANFAR S, SADIQ S, YAN Y L, et al. A survey on deep learning[J]. ACM Computing Surveys, 2019, 51(5): 1-36.

[10] GARCIA-GARCIA A, ORTS-ESCOLANO S, OPREA S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Applied Soft Computing, 2018, 70: 41-65.

[11] WANG X L, SHRIVASTAVA A, GUPTA A. A-fast-RCNN: hard positive generation via adversary for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 3039-3048.

[12] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2021-04-22]. https://arxiv.org/abs/ 1804.02767.

[13] ZENG D, LIU H, ZHAO F, et al. Proposal pyramid networks for fast face detection[J]. Information Sciences, 2019, 495: 136-149.

[14] 易超人, 邓燕妮. 多通道卷积神经网络图像识别方法[J]. 河南科技大学学报: 自然科学版, 2017, 38(3): 41-44, 5-6.

YI C R, DENG Y N. Image recognition method of multi-channel convolutional neural network[J]. Journal of Henan University of Science and Technology: Natural Science, 2017, 38(3): 41-44, 5-6 (in Chinese).

[15] FENG S L, ZHAO H M, SHI F, et al. CPFNet: context pyramid fusion network for medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2020, 39(10): 3008-3018.

[16] GAN C Q, WANG L, ZHANG Z F, et al. Sparse attention based separable dilated convolutional neural network for targeted sentiment analysis[J]. Knowledge-Based Systems, 2020, 188: 104827.

PCB defect detection based on convolutional neural network

HE Guo-zhong, LIANG Yu

(School of Software, Yunnan University, Kunming Yunnan 650504, China)

In the production of printed circuit boards (PCB), the production process and other problems incur flaws and defects on the circuit board. In order to enhance the detection efficiency of circuit board defects, a circuit board defect detection network based on convolutional neural network (CNN) was proposed. The whole detection network was optimized and reconstructed based on the YOLO v4 network. Aiming at the difficulty of precise and complex PCB production and difficult detection of various defects, a long-distance global attention mechanism based on fine-grained spatial domain was added to the optimized network. At the same time, on the basis of the spatial pyramid pooling (SPP) module, the feature map was reorganized as the input ofeach YOLO detection head. The long-distance attention mechanism channel was adopted to transfer the features extracted from the shallow network to the deep network, and the feature map reorganization method was utilized to boost the richness of feature information, thereby improving the accuracy of PCB defect detection. After experimental analysis, compared with various classic convolutional neural networks, the proposed algorithm is greatly superior in PCB board defect detection tasks. The mean average precision (mAP) of the overall defects reaches 91.40%, which is suitable for actual production and testing links.

printed circuit board; deep learning; convolutional neural network; defect detection; attention mechanism

10 May，2021；

TP 391

10.11996/JG.j.2095-302X.2022010021

A

2095-302X(2022)01-0021-07

2021-05-10；

2021-06-23

23 June，2021

何国忠(1995–)，男，硕士研究生。主要研究方向为图形图像处理、计算机视觉等。E-mail：heguozhong@mail.ynu.edu.cn

HE Guo-zhong (1995–), master student. His main research interests cover graphic image processing, computer vision, etc. E-mail：heguozhong@mail.ynu.edu.cn

梁 宇(1964–)，男，教授，硕士。主要研究方向为数字图像处理与模式识别。E-mail：yuliang@ynu.edu.cn

LIANG Yu (1964–), professor, master. His main research interests cover digital image processing and pattern recognition. E-mail：yuliang@ynu.edu.cn