基于LabVIEW的CSP芯片植球后视觉检测算法研究

2018-12-10刘劲松邱爽

软件导刊 2018年9期

刘劲松　邱爽

摘要：为了对CSP植球后的芯片进行植球质量检测，采用机器视觉方法，借助LabVIEW中的基本函数库和视觉模块，对植球后的芯片进行图像采集、ROI提取、噪声抑制、二值化和形态学处理，有效地将焊锡球亮点从图像背景中分割出来，而后运用圆Hough变换对焊锡球进行圆心定位，最终基于焊锡球的实际偏移量，对检测区域中每块芯片植球是否合格作出判断，并且统计出少球与多球的位置信息。结果证明，该算法检测准确度高，具备一定的应用价值。

关键词：机器视觉；质量检测；LabVIEW；CSP植球；圆Hough变换

DOIDOI：10.11907/rjdk.181027

中图分类号：TP301.6

文献标识码：A文章编号文章编号：16727800（2018）009004305

英文标题Research on Visual Detection Algorithm After CSP Chip Ball Planting Based on LabVIEW

--副标题

英文作者LIU Jingsong1，2， QIU Shuang1

英文作者单位（1.School of Mechanical Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China；2.Shanghai Micson Industrial Automation Co.，Ltd.，Shanghai 201114，China）

英文摘要Abstract：In order to detect the quality of chips after CSP ball planting，with the help of the basic function library and visual module in LabVIEW，we adopt the method of machine vision to carry out image acquisition，ROI extraction，noise suppression，binarization and morphological processing on the chips after ball planting，and effectively separate solder balls from image background.Then circular Hough transform is used to locate the centres of solder balls.Finally，based on the actual offset of solder balls，we can judge whether each chip in the detection area is qualified and collect the statistics of position information where ball is lacked or redundant.It turns out that the algorithm has high detection accuracy and possesses certain application value.

英文关键词Key Words：machine vision； quality detection； LabVIEW； CSP ball planting； circular Hough transform

0引言

芯片尺寸级封装（Chip Scale Package，CSP），按照日本电子机械工业会（EIAJ）定义，是指与晶片（Die）大小相同或者比之稍微大些的封装技术总称[1]。作为CSP封装工艺中的关键步骤，植球就是把焊锡球植放到芯片的PAD点上，从而使芯片与外部电路相连接，其质量将直接关系到器件的性能与可靠性[2]。因此，对植球后芯片上的焊锡球进行植放质量检测显得至关重要。而CSP芯片植球质量检测的难点在于焊锡球的尺寸小、数目多、密度大，还需满足快检测速度和高位置精度等要求，所以仅靠肉眼和常规接触性测量是无法实现的。

机器视觉是近几年迅速发展起来的新兴综合技术，具有效率高、自动化程度高、能进行非接触性检测等优点[3]。采用机器视觉方法解决CSP芯片植球的质量检测问题，以取代传统的人工检测，势在必行。国内研究人员对BGA植球视觉检测技术设计过大致可行的方案，但未对植球后的各种问题提出有针对性的具体算法，同时将焊锡球数目作为芯片多球、少球判断依据，降低了检测准确度。本文通过LabVIEW软件平台，针对CSP植球后芯片图像的采集、处理、分析和判断，研究了一整套相应算法，从而实现高准确度检测。

1系统总体概述

机器视觉系统通常包括图像采集、图像处理与分析、逻辑判断与控制等3个过程。尤其是前两个环节，其中几个关键技术能否被顺利攻克，将对整个视觉系统是否可以达到预期目的产生极大影响[4]。本文先设计合适的光源与照明方式以获取优质的芯片检测区域图像，再对图像进行预处理和圆心定位，最后采用基于焊锡球偏移量的判别算法，实现对芯片植球的质量检测，系统流程如图1所示。

2图像采集

2.1光源与照明方式设计

照明作用于系统的原始输入并直接影响输入数据的质量。恰当的光源与照明方式，不但可以突出需要检测的对象及其特征，而且还能抑制不需要的干扰成分，方便后续图像处理[5]。所以该方面设计须慎重对待。

LED光源的穩定性和显色性好，发光强度高，光谱范围可覆盖整个可见光。考虑到CSP焊锡球的颜色多为白色或银白色，依据色觉搭配原理，蓝色光源可以凸显出白色，故选用蓝色LED光源。同时，鉴于焊锡球表面较为光滑，对光反射强烈，于是选用环形光源以减少反射，并使光能在焊锡球上均匀照射[6]。光源设计如图2（a）所示。

采用低角度前照明的照射方式，使LED光源与芯片呈很小的角度，仅让焊锡球反射的部分光进入工业相机，以突出焊锡球并抑制背景。照明方式设计如图2（b）所示。

2.2采集过程

在上述照明条件下，通过LabVIEW视觉模块中的NIIMAQdx驱动CCD灰阶相机，并利用低阶（LL）取像元件对植球后的芯片进行图像采集。具体采集流程图、对应程序图以及采集到的芯片检测区域灰度图如图3所示。

3图像处理

视觉系统采集到的原始灰度图包含大量图像信息，有检测需要的焊锡球信息，也有不需要的噪声、图像背景和多余的助焊剂等不利于后续分析判断的冗余信息[7]。而在复杂图像中进行圆检测时容易产生更多无效积累，加大计算量[8]。因此，对原始灰度图进行预处理，以消除干扰并加快检测速度，是很有必要的。

3.1ROI提取

CSP芯片植球质量检测，归根结底就是判断检测区域中每块植球后的芯片是否符合要求。所以，在执行图像处理及其后续操作时，首先须把待处理对象限定于检测区域中的某一芯片，即将图像中的每块芯片划定为一个矩形感兴趣区域（ROI），而后逐一处理。这样在减少处理时间、提高精度的同时，也间接排除了其它干扰。在LabVIEW中，可通过IMAQ Extract函数实现对感兴趣区域的提取。提取出的芯片ROI图如图4所示。

3.2图像平滑

由于图像在生成、传输等一系列过程中，难免会受到来自系统内部与外部的各种干扰，所以经过ROI提取得到的芯片图中或多或少会存在噪声，如脉冲噪声等。而图像的平滑处理就是用不同的滤波方法对图像进行去噪处理[9]。

本文采用中值滤波的平滑方法降噪，即用每个像素点领域内全部像素点的灰度值中值代替该点的灰度值。中值滤波输出为：

yi，j=MedianAfi，j（1）

式（1）中，fi，j和yi，j分别为原始图像和滤波后的图像，A为滤波窗口。在LabVIEW中，可通过IMAQ NthOrder函数实现对图像的中值滤波操作。本文选取5×5方形滤波窗口对芯片ROI图进行中值滤波。

3.3图像分割

为了将检测需要的焊锡球从图像背景中分割出来，须对中值滤波后的芯片灰度图作二值化处理，即选择一个合适的阈值T，如果图像中像素的灰度值小于此阈值，则把该像素的灰度值设置为0，否则设置为255。变换函数为：

f（x）=0，x

式（2）中，x为原图中像素的灰度值，fx为二值化后像素的灰度值。而合理选取阈值T，对于尽可能地保留CSP焊锡球的特征信息、剔除与焊锡球灰度值相近的背景点，十分关键。

双峰法是一种基于灰度直方图的自动阈值确定方法[10]。LabVIEW中通过函数IMAQ Histograph统计图像的灰度分布，滤波后芯片图的灰度直方图如图5所示。观察图5可以分析，图像背景的灰度值主要集中在25-100区间内，焊锡球目标灰度值接近于255，两者呈现较为明显的双峰特性。在这种情况下，双峰法很适用，所以本文用双峰法求得最低谷处的灰度值，即滤波后芯片图的最佳阈值T为254。

LabVIEW中通过函数IMAQ Threshold实现对图像的阈值分割，得到二值化后的芯片图，如图6所示。能够看出，在保存边缘信息的前提下，焊锡球可以很好地与背景及部分多余助焊劑区分开。

3.4形态学处理

由图6可以发现，二值化后的图像包含阈值分割没有去除的残余助焊剂噪点，同时焊锡球的边缘轮廓有纤细突起，内部也有由环形光源照射反光引起的黑色孔洞。

本文先用5×5的结构元对二值图作开运算，目的是在不明显改变焊锡球面积和形状的基础上，平滑其边缘，并消除小于该结构元的助焊剂噪点。再用同样的结构元对二值图作闭运算，以在不明显改变焊锡球面积和形状的基础上，填补球内孔洞。

以上开、闭运算虽然解决了小面积噪点、焊锡球孔洞和突起问题，但是很难处理好面积较大的助焊剂噪点。使用高级形态学中的删除小块区域方法，删除二值图中面积小于45像素的8连通区域，即可除去剩余面积较大的噪点，以消除残余背景噪声。最终结果如图7所示。

LabVIEW中通过函数IMAQ Morphology实现开闭操作，采用函数IMAQ RemoveParticle删除小块区域。

4圆心定位算法

圆Hough变换是当前应用最为广泛的圆检测算法之一[11]。该算法可靠性高，对边缘不连续、部分区域残缺、变形、噪声等状况均有良好的适应性[12]。

设{（xi，yi） | i=1，2，3，...，n}为图像中点的集合，（x，y）是属于该集合的一点，在参数坐标系中的方程为：

（x-a）2+（y-b）2=r2（3）

通过上述方程进行坐标变换，将x-y图像平面上的圆转换到a-b-r参数空间中去，则图像平面上的圆与参数空间中的一点相对应，图像平面上的一点与参数空间中的一个三维锥面相对应。对图像平面上的一个圆来说，半径是固定的，所以由圆周上各点组成的集合在参数空间中表现为半径相等、圆心（xi，yi）不等的空间圆集合，而这些空间圆必定会相交于参数空间中的某一点（a0，b0，r0），如图8（a）所示。该点的参数便对应着图像平面上该圆的圆心坐标和半径[13]。

基于此，先在参数空间中构造一个三维累积数组，其中的元素为A（a，b，r）。将r设为递增变量，可根据经验知识确定半径变化的范围（rmin，rmax），从rmin开始递增到rmax。每次运算前先固定半径为rj，再在垂直于rj轴的平面上求圆心为（xi，yi）的圆周各点，其中（xi，yi）取原图像平面上的边缘点，并与在该平面映像的二维累积阵列上的相应点A（a，b，rj）累加，即：

A（a，b，rj）=A（a，b，rj）+1（4）

最后，根据累加后的最大值所对应点的参数a、b、r，确定出x-y图像平面上的圆。在LabVIEW中，通过函数IMAQ Find Circles可对图像中的焊锡球进行圆检测，从而得到圆心坐标，实现圆心定位。根据运算得到数据拟合出的圆以及圆心位置如图8（b）所示。

5植球质量检测

检测区域中共有20个芯片，每个芯片都有78个I/O口需要植球。该I/O口就是植球的理想位置，而先前得到的圆心坐标则为焊锡球在芯片上的实际位置。检测CSP芯片植球质量的标准主要体现在：根据所植焊锡球实际位置相对于理想位置的偏移量，植球后的芯片有无出现多球或者少球现象。

设定偏移量阈值为t。在允许的偏移量t内，若某一I/O口处没有发现焊锡球，即所有焊锡球的实际圆心坐标都不在以该I/O口坐标为圆心、t为半径的圆内，则判定该I/O口处少球；若在非I/O口的位置植放了焊锡球，即该焊锡球的实际圆心坐标在所有以I/O口坐标为圆心、t为半径的圆外部，则判定该焊锡球所在位置多球；特别地，若某一I/O口处植放了两个以上焊锡球，即有两个以上实际圆心坐标满足在以该I/O口坐标为圆心、t为半径的圆内条件，则判定该I/O口处多球。

设某焊锡球的实际圆心坐标为（ai，bi），某I/O口坐标为（mk，nk）。如果焊锡球满足在圆内条件，则两者的间距应当小于等于t，即：

（ai-mk）2+（bi-nk）2

（5）

一旦芯片被检测到有多球或者少球的情形，则判定该芯片植球不合格，然后根据多球、少球位置坐标作重新植球处理。芯片合格则进行下一道工序。

本文通过LabVIEW基本函数实现了以上判别算法，用for循环对检测区域中的每块芯片进行植球质量检测，并将芯片植球结果以布尔二维数组形式返回给控制系统。对少球和多球位置在处理过的芯片二值图中进行标记，并统计位置信息。为方便观察，將偏移量阈值t设为焊锡球直径的30%进行运算，其中焊锡球的标准直径为19个像素。取芯片第一行作数据统计，统计出的少球位置信息如表1所示，多球位置信息如表2所示，少球、多球位置标记如图9所示。由结果可见，本文提出的视觉检测算法检测准确度高，行之有效。

6结语

机器视觉的广泛应用，大幅提高了生产自动化水平以及装备的使用效率、可靠性与稳定性[14]。本文采用机器视觉方法，结合光源与照射方式的选取，提出了一种CSP芯片植球质量检测算法。该算法在LabVIEW中证明了可行性，然而仍存在需要改进之处，如圆心定位算法的资源占用量大、检测功能不够多样化等。随着对其研究的不断深入，机器视觉技术必然会更加完善，在工业自动化生产领域发挥越来越大的作用[15]。

参考文献参考文献：

[1]萩本英二.CSP技术[M].第1版.陈连春，译.台湾：建兴出版社，1998.

[2]刘劲松，郭俭，王鹤.芯片尺寸级CSP封装自动植球技术的研究[J].制造业自动化，2015，37（10）：117120.

[3]贾伟妙.基于机器视觉的芯片BGA封装焊球缺陷检测及MATLAB仿真[D].合肥：合肥工业大学，2009.

[4]刘劲松，梁皓源.基于OpenCV的晶圆编号识别算法研究[J].软件导刊，2017，16（6）：2527.

[5]郭建强.BGA全自动植球机视觉检测和自动对准控制技术研究[D].合肥：合肥工业大学，2006.

[6]NOVINI A.Fundamentals of machine vision lighting[C].Proceedings of SPIE，1987：4452.

[7]刘劲松，时威，张金志.BGA返修芯片批量植球机关键技术研究[J].电子工艺技术，2015，36（3）：125128.

[8]叶峰，陈灿杰.基于有序Hough变换的快速圆检测算法[J].光学精密工程，2014，22（4）：11051111.

[9]袁勇，张固澜.一种改进的中值滤波方法[J].成都理工大学学报：自然科学版，2013，40（2）：125129.

[10]杨修国.关于直方图双峰法的研究与改进[J].电子设计工程，2012，20（12）：176179.

[11]刘劲松，高扬，邱进军.基于机器视觉的BGA植球后缺陷检测技术的研究[J].现代制造工程，2016（3）：115118.