尹　静， 程亮亮， 樊　敏，申　远，赵晓虎

(合肥师范学院电子信息工程学院，安徽 合肥 230601)



基于SURF特征的PCB贴片元件标记算法研究

尹静， 程亮亮， 樊敏，申远，赵晓虎

(合肥师范学院电子信息工程学院，安徽 合肥 230601)

[摘要]文中提出了一种结合SURF(Speeded Up Robust Features)的PCB(Printed Circuit Board)贴片元件标记算法。通过SURF特征识别PCB照片中的一类元件， 识别成功后在PCB照片中分离模版窗口，进而获得滑动窗口模版，最后通过滑动窗口模版识别PCB上所有同类元件。通过SURF算法解决了PCB照片中元件尺寸与样本元件照片尺寸不匹配的问题，同时通过滑动窗口图像差值的方法解决了单独使用SURF识别方法对于元件图像一致性要求高而导致漏检率高的问题。

[关键词]SURF； PCB； AOI； 特征识别； 特征匹配

运用机器视觉方法对印刷电路板(Printed Circuit Board，PCB)上大量的微小贴片元件进行自动光学检测(Automatic Optical Inspection，AOI)正逐渐代替传统的人工检测手段，成为电路板生产商及电子仪器生产商的主流检测手段，机器检测方法具有正确率高，漏检及误检率低，速度快等优点[1-3]。目前常见的自动化贴片元件检测手段主要包括基于图像差值比对的图像对比法[4]和基于机器学习方法的图像识别算法[5]。图像比对法正确率高，算法实现简单直观，计算速度快[6]，但其对于元件的贴片位置、方向以及元件的外观统一度要求较高，因而导致误检率高。图像识别法是基于图片特征进行训练，得到具有一定宽容度的元件识别模型，对于贴片元件由于焊接失败导致的位移、旋转等具有好的识别效果，误检率得以有效降低[7]。但图像特征训练过程复杂，且学习过程需要大量图像样本，使得新增检测元件的种类对普通用户来说基本不可实现。

本文利用单幅贴片元件图像的加速稳健特征(Speeded Up Robust Features，SURF)结合图像矩阵的模糊化差值方法，提出了一种基于单幅贴片元件样本图片的PCB上贴片元件的自动化标记算法，实现了给定一幅贴片元件样本图片，即可自动化识别并标记同类元件在PCB上的位置，解决了AOI系统中元器件需要人工进行大量初始分类、标记之后才能实现自动检测的难题。

1加速稳健特征

加速稳健特征(SURF)是一种具有旋转及缩放不变性的图像局部特征描述子。其算法中包含特征检测与特征描述两个阶段。

1.1特征检测

SURF的特征检测阶段主要依赖海森矩阵(Hessian Matrix)，其表达式为：

(1)

其中，x，y分别为像素在图像中的坐标，图像中的每个像素都有灰度值f(x,y) ，可以由其两个方向的二阶偏导数求得矩阵值H。

为了使特征值具有旋转和尺度不变性，需使用二阶高斯滤波器构造具有不同分辨率的图像金字塔，形成图像尺度空间[7]。

二阶高斯滤波器为：

(2)

(3)

由式(4)可依次类推Lxy及Lyy的表达式。

为了简化高斯滤波的计算过程，算法对二维高斯卷积核进行了简化，简化过程如图1所示。

图1　二阶高斯滤波器简化过程(其中灰色部分值为0)

经过上述简化后，海森矩阵变为：

(5)

且有近似值：det(H)≈DxxDyy-(0.9Dxy)2，D的值借助图像的积分图可以进行快速的计算[8]，从而得到该像素点的特征值。

如图2所示，该特征点在图像内的3×3邻域内的8个点，加上图像金字塔中上下两层中各9个点，共26个像素点组成该像素在图形尺度空间中的所有邻域点。若其图像梯度为正，即该像素点的特征值大于其他所有邻域点的特征值，则确定该点为一个特征点。

图2　特征点在图像金字塔中邻域

1.2特征描述

在确定特征点后，需要寻找特征点的描述子，对特征点在图像尺度空间的特征进行精确描述，SURF算法的描述子具有尺度及旋转不变性，因此其需要确定特征在图像中的主方向。而主方向由特征点的圆形邻域内各个角度上的水平和垂直哈尔小波特征[9](Haar Features)的和来确定。

确定主方向后以特征点为中心沿主方向确定一个包含4×4共16个子区域的正方形邻域，每个子区域包含一定的像素数量。对每个子区域求其相对于主方向上水平和垂直哈尔小波特征的和以及绝对值的和，因此每个区域得到4组特征值，16个子区域共得到64组特征值。将这64组特征值作为该特征点的64维特征向量。如图3所示为子区域包含25个像素点的特征点其特征向量的计算过程。

图3　特征点的主方向及特征向量

2特征匹配过程

通过SURF算法计算得到图像特征点的64维特征值后，可以通过计算两幅图像中特征值间的欧氏距离确定特征点间的匹配关系，x、y两个特征点之间的欧式距离可表示为：

(6)

通过计算两组64维向量之间的欧氏距离，即可得到两个特征点的匹配程度。当有两幅图片中的大量特征点存在时，特征点的匹配问题即转化为K近邻算法(K-Nearest Neighbor algorithm，KNN)。在实际计算中，我们为了加快计算速度，采用FLANN算法[10](Fast Approximate Nearest Neighbor Search)进行特征点的匹配搜索过程。

3样本选取及匹配实验

实验中，我们选取一个贴片电阻照片作为标准样本，对PCB照片进行特征点的检测与匹配。

图4　带有特征点标记的PCB照片及标准贴片元件样本

图4所示为选取一个标准贴片元件样本后分别对PCB和贴片样本图片进行SURF特征点识别，其中左图为PCB照片，右图为标准贴片元件样本照片。左图包含1282个特征点，右图包含32个特征点。经过特征匹配后剩余的特征点如图4中左图所示，每个圆圈代表一个匹配的特征点，圆圈中的短线代表该特征点的主方向，圆圈大小代表区域内包含特征点的数量。

由特征点匹配实验结果可见，由于每个贴片元件在PCB上的图像一致性并不好，因此PCB上每个同类贴片元件的识别特征点并不一致，这会为后续的元件标记带来困难。因此需要进一步改进识别算法。

4图像差值匹配及实验

根据PCB上贴片元件的特点，同类型贴片元件其主要部分大小及形状一致，仅有管脚焊锡部分有差异。因此只要确定了PCB上一个贴片元件的图片区域，可以通过滑动窗口计算图像差值的方法确定其他元件的位置。

由于标准贴片元件样本图片的分辨率大小与PCB图片上对应元件的分辨率大小并不一定一致，因此首先需要选取PCB上匹配特征点最多的一个贴片元件区域作为滑动窗口模版。通过特征点在样本照片中的位置计算由贴片元件样本照片到PCB照片的坐标变换矩阵。

(7)

式(7)所示为缩放变换矩阵，由式(7)可知，由两组特征点坐标即可计算x和y方向的缩放系数sx和sy，因此当有多组特征点时，可以经多次计算得到拟合后的缩放变换矩阵。

得到缩放变换矩阵后，就可以根据贴片样本照片的矩形区域大小及对应特征点的位置，确定PCB照片中滑动窗口模版的位置，如图5中白色方框所示。

图5　PCB照片中的滑动窗口模版

匹配成功后以此图片区域作为滑动窗口模版对整幅PCB照片图像进行矩阵差值计算，之后对矩阵差值求平均，平均值小于原图像差值的1%，则认为两图像匹配。其计算过程如式(8)、(9)所示：

(8)

(9)

其中，Mask为PCB图片中与模版元件照片匹配的识别区域模版，坐标(a,b) 为滑动窗口的左上角坐标，w和h分别为滑动窗口宽度和高度，即元件匹配区域的像素宽度和高度。当滑动窗口与其覆盖位置的图像矩阵差值的平均值，即式(10)所示的值小于匹配阈值时，即认为匹配成功，则识别到一个元件位置。

实验结果如图6所示，通过滑动窗口计算图像差值后识别出同类元件的位置。可见，相比单独使用SURF特征识别，图像差值识别后的元件被更好的在PCB照片中标记了出来，其位置和图片范围都具有较好的结果。由于PCB贴片元件区域具有不会重叠的特点，在滑动窗口实际运算过程中，为了减少计算量，在窗口滑动计算过程中，我们采用了矩形区域的碰撞检测算法，在已经识别出元件的区域不再进行模版的滑动计算。匹配阈值的取值为窗口模版亮度最大值的1%。

图6　滑动窗口差值匹配结果

5结论

本文针对PCB自动光学检测过程中仍然需要人工进行板上贴片元件的初始标记的问题，解决了传统机器视觉方法识别元件过程中，基于图像差值的方法对于贴片元件的一致性要求较高，导致漏检率高，而基于机器学习的元件识别方法需要大量样本学习，计算过程复杂等问题，提出了一种基于SURF特征匹配的滑动窗口图像差值匹配算法。本算法对于一种贴片元器件具有较高的识别率，且对于样本要求不高，仅需要提供一个贴片样本即可进行识别，且采用识别模版进行滑动窗口差值识别，通过合理设置的差值匹配阈值，可以实现较好的图片宽容度，克服了单纯使用SURF特征进行识别时对于元件宽容度低，元件识别漏检率高的问题。

[参考文献]

[1]周党群, 程宪平, 李刚健. PCB 视觉检测系统中目标图像提取的研究[J]. 电子测量与仪器学报, 2001, 15(3): 10-13.

[2]郝红敏. 基于小波变换的焊点缺陷识别方法的研究[D]. 河北工业大学, 2013.

[3]谢宏威, 张宪民, 邝泳聪. 基于图像特征统计分析的 PCB 焊点检测方法[J]. 仪器仪表学报, 2011, 32(2): 401-407.

[4]XIE H W，KUANG Y C，ZHANG X M．A high speed AOI algorithm for chip component based on image difference [C]．IEEE International Conference of Information &Automation，Zhuhai，China，2009(4)：969-974．

[5]吴福培,邝泳聪,张宪民,欧阳高飞. 基于模式匹配及其参数自适应的PCB焊点检测[J]. 光学 精密工程, 2009, 17(10): 2586～2593

[6]Horng-Hai Loh and Ming-Sing Lu, "Printed Circuit Board Inspection Using Image Analysis", IEEE Transactions on industry applications, Vol.35, No.2, March/Aprial 1999, pp.426-432.

[7]SZELISKI R. Computer Vision: Algorithms and Applications[M]. Springer, 2010:116-117.

[8]P Viola and M Jones . Robust real-time face detection[J]. International journal of computer vision, 2004, 57(2): 137-154.

[9]Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features[M]//Computer vision-ECCV 2006. Springer Berlin Heidelberg, 2006: 404-417.

[10]Muja M, Lowe D G. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration[J]. VISAPP (1), 2009, 2.

Study of PCB Components Recognition Based on SURF

YIN Jing, CHENG Liangliang, FAN Min, SHEN Yuan, ZHAO Xiaohu

(SchoolofElectronicandInformationEngineering,HefeiNormalUniversity,Hefei230601,China)

Abstract：A new algorithm combining SURF (Speeded Up Robust Features) is introduced to inspect surface-mounted device (SMD) components on PCB (Printed Circuit Board). By matching and recognizing one kind of SMD components from PCB pictures correctly, the mask region as a sliding window is separated, then all of these kinds of components are recognized and the differences between sliding window and picture matrix are calculated. We can match the SMD component sample and the corresponding PCB picture in different resolution by using SURF. Furthermore, by calculating the differences between sliding window and PCB picture matrix, the disadvantage of SURF method that requires highly coherence of the pictures is solved, which leads to high loss detecting rate.

Key words：SURF; PCB; AOI; feature recognition; feature matching

[中图分类号]G61

[文献标识码]A

[文章编号]1674-2273(2015)06-0013-04

作者简介][第一 尹静(1986-)，女，安徽泗县，助教，硕士，主研方向：测试测量。

[基金项目]2013安徽省自然科学基金(1308085QE92)，合肥师范学院产学研项目(2014cxy29)，合肥师范学院产学研项目(2014cxy27)

[收稿日期]2015-05-08