赵伟鹏 潘盛辉 李镇楠

摘 要：传统PIN针歪斜检测主要依靠人工观察或利用插排等工件测试，存在检测效率低、精度无法满足工业要求的问题。为解决这类问题，通过Halcon视觉开发软件和C#语言联合编程，设计基于机器视觉的连接器PIN针歪斜检测系统。通过对连接器端子内部的视觉特征进行分析，并采用行列等比例缩放模板匹配确定基准点和定位PIN针区域，解决了传统形状模板匹配在目标尺寸发生变化后定位不准确的问题。对定位的插针进行Sobel边缘检测和形状转换确定其中心点，再计算基准点与中心点的欧式距离，得出插针偏移量。实际应用结果表明，本文歪斜检测系统精度为0.1 mm，通过率为98.61%，误判率为0，检测时间在1 s以内，满足工业生产需求。

关键词：Halcon；机器视觉；PIN针歪斜检测；行列等比例缩放模板匹配；Sobel边缘提取

中图分类号：TP391.4 DOI：10.16375/j.cnki.cn45-1395/t.2023.02.014

0 引言

在国家加强节能减排部署的背景下，节能环保是现代汽车发展的必然趋势，新能源汽车迈入加速发展的快车道[1]。连接器作为新能源汽车的电力与信息传输桥梁，其插针歪斜程度是判断该产品是否符合生产要求的重要指标[2]。当连接器插针位置与标准模板偏差较大时，会出现短路现象，使得电力与信息传输受阻[3]。为了减少该类现象发生，研究者们不断探索性能更加优良的连接器PIN针歪斜检测方法[4]。

传统插针歪斜检测方式主要是人工观察或者利用插排等工件检测。在生产过程中发现，传统方式经常发生误判现象，且效率低。从提高精度和减少误判出发，南京晨光集团有限责任公司等[5]发明一款电连接器插针歪斜远心视觉检测装置，将远心镜头引入PIN针歪斜检测领域，减少成像畸变，提高了检测精度和准确性。该装置虽有效减少误判现象，但主要针对成像系统进行优化，其本质是人工观测，并未提升检测效率。从提高检测效率出发，苏州百拓智能装备有限公司[6]发明一款电测与PIN针歪斜检测机构，将电测与插针歪斜检测结合。导通测试时，驱动机构使检测件向前运动，当插针歪斜时，插针无法探入检测孔，导通测试失败。反之，插针可深入检测孔，导通测试成功。实际生产发现，该装置虽提高检测效率，但检测精度低。从提高精度和检测效率出发，姜景科等[2]根据插针的3D特征，设计了基于3D激光传感器的PIN针高度检测系统，利用3D Gocator激光传感器相机实时获取目标物体的三维点云图像，实现PIN针高度检测，然后与插针标准高度对比，进而判断PIN针是否歪斜。该系统检测精度和效率高，但是设备成本高且对产品固定机构的稳定性要求严格。

机器视觉检测技术具有精度高、速度快、自动化水平高等特点[7-8]，满足工业对插针歪斜检测要求。本文设计了基于机器视觉的连接器PIN针歪斜检测系统，该系统为提高检测系统的成像效果，参考了电连接器插针歪斜远心视觉检测装置，使用远心镜头减小成像畸变，提高了成像稳定性。其系统原理为：根据端子内部结构特点，采用行列等比例缩放形状模板匹配定位插针区域和基准点，即插针穿插孔洞中心点；然后，利用Sobel边缘检测提取插针边缘并进行形状转化，获取PIN针中心点；最后，求基准点与插针中心点的欧式距离，从而判断PIN针是否歪斜。

1 PIN针歪斜检测系统结构与工作原理

1.1 检测内容

需检测的连接器端子内PIN针分布如图1所示。九针端子：内含18个针孔、15根插针；宽×高为16.5 mm×25.2 mm；拱形重心到插针中心距离为1.5 mm。七针端子：内含14个针孔、10根插针；宽×高为15.6 mm×20.8 mm；拱形重心到插针中心距离为1.5 mm。

PIN针歪斜检测要求：

1）能检测出歪斜程度大于0.1 mm的PIN针，并将其用红色线圈出；

2）对每根针的歪斜程度进行标注（单位：mm）；

3）单个产品检测时间少于1 s；

4）在合格状态下，一次通过率100%。

1.2 系统结构设计与运行工作原理

根据插针歪斜检测标准，所设计的连接器PIN针歪斜检测系统总体结构如图2所示。检测系统包括图像采集单元、上位机处理单元[9]。图像采集单元由工业相机、远心镜头、同轴光源和光源控制器等构成；上位机处理单元又称视觉信息处理单元，由工控机及相应外设构成。其中，工控机作为视觉检测系统核心，主要作用是图像处理与分析、数据传输与通讯。

PIN针歪斜检测系统的工作原理为：系统相机1采用连续采集的方式，方便工作人员观察并调整产品在机构5上的位置。检测开始时，相机1会连续采集图像并显示在上位机上，工作人员根据图像显示将产品按照规定方式固定在机构5上，并使用扫码枪进行扫码；之后视觉信息处理单元7触发控制信号给图像采集单元，使其采集产品最后一张图像并暂停采集；单元7利用视觉处理算法和上位机程序对采集的最后一张图像進行处理，从而获取PIN针歪斜信息，标注并显示在上位机界面上。该系统的检测流程如图3所示。

2 PIN针歪斜检测算法原理研究及处理结果分析

图像采集单元所获取的图像，其本质是二维矩阵信息，因此，可采用矩阵理论知识对数对采集图像进行数字化分析处理。图4为检测系统最后一次采集的产品信息，通过分析图中连接器端子内部视觉特征，对检测算法原理进行研究。

2.1 图像旋转与倾斜矫正

由图4可知，若直接进行歪斜检测，一是受人工安装或机构自身影响，导致端子呈倾斜状态，检测效果不佳；二是若将检测结果标注在对应插针上，受观察习惯影响，使员工不便观察。为方便观察，本文采用基于双线性插值的图像旋转算法将图像顺时针旋转[90]°。为解决端子倾斜问题，本文采用阈值分割提取端子，然后利用仿射旋转变换将端子旋转至水平。

2.1.1 基于双线性插值的图像旋转

在笛卡尔坐标系中，图像中心为原点[O]，向右为x轴正方向，向上为y轴正方向。设图像中任一点为[x0，y0]，以原点[O]为圆心顺时针旋转α角后坐标为[x，y]，数学表达式为[10]：

[xy1=cosαsinα0-sinαcosα0001x0y01]. （1）

在图像坐标系中，左上角为原点[O]，向右为[x]轴正方向，向下为y轴正方向，因此2种坐标系需要平移变换[10]。2种坐标系对应关系如图5所示，图中：[O1]、[O2]代表图像坐标系；[O0]为笛卡尔坐标系；设[x1，y1]、[x2，y2]、[x0，y0]分别为[O1]、[O2]、[O0]中的旋转对应点；原图像宽、高分别是[w、h]；目标图像宽、高分别是[w1、h1]。

坐标系[O1]到[O0]的变换矩阵为：

[x0y01=10-0.5w0-10.5h001x1y11]. （2）

坐标系[O0]到[O2]的变换矩阵为：

[x2y21=100.5w10-10.5h1001x0y01]. （3）

图像旋转首先用式（2）完成坐标系[O1]到[O0]的变换，然后利用式（1）将坐标系[O0]顺时针旋转[α]角，最后用式（3）完成坐标系[O0]到[O2]的变换。变换矩阵为：

[x2y21=100.5w10-10.5h1001cosαsinα0-sinαcosα0001]·

[10-0.5w0-10.5h001x1y11]. （4）

式（4）的逆变换矩阵为：

[x1y11=100.5w0-10.5h001cosα-sinα0sinαcosα0001]·

[10-0.5w10-10.5h1001x2y21]. （5）

由式（4）可知，[x2，y2]可能存在非整数现象，又因为图像[fx，y]是离散函数，即[x，]y为整数，所以出现旋转后图像的某些像素值未知的情况，因此需要插值计算。常见的插值算法有：最近邻插值、双线性插值、等权双线性插值、双三次插值等[11]。为了保证旋转处理时间和旋转后图像的质量，考虑到旋转并未改变图像大小，本文采用双线性插值算法。

双线性插值实质是利用式（5）将旋转后图像逆变换，然后将[x1，y1]所对应原图周围4个点分别进行线性插值，如图6所示，其对应的数学表达式为式（6）。

[fP≈]{[[y2-yx2-x]]/[[y2-y1x2-x1]]}[fQ11] +

{[[y2-yx-x1]]  / [[y2-y1x2-x1]]}[fQ21] + {[[y-y1x2-x]]  / [[y2-y1x2-x1]]}[fQ12] [+] {[[y-y1x-x1]] / [[y2-y1x2-x1]]} [fQ22]. （6）

利用双线性插值将图4顺时针旋转[90°]，如图7所示。该算法解决了员工观察困难和难以标注插针歪斜信息的问题。

2.1.2 仿射旋转变换

连接器圖像的目标区域（端子）受到人工安装或机构自身原因影响导致倾斜，考虑到双线性插值算法只对图像中心进行旋转，不能进行倾斜矫正，因此，需要仿射旋转变换对端子倾斜矫正。

二维平面任意向量[νx，y]到[ν1x1，y1]的仿射变换可拆分为线性变换和平移变换[12]：[v1=Av+b]。其中[A=a11a12a21a22；b=a13a23]。其矩阵形式为：[v11=Ab01v1]，本文使用矩阵[M=A，b=a11a12a13a21a22a23]表示仿射变换。仿射旋转变换是二维平面上任意一点以[x0，y0]为中心逆时针旋转[β]弧度的变换，可以拆分为2次平移变换和1次原点旋转变换，即该点先按[-x0，-y0]平移至原点，然后绕原点逆时针旋转β弧度，最后以[x0，y0]平移，经计算旋转矩阵[A=cosβ-sinβsinβcosβ]，平移矩阵[b]=[x0（1-cosβ）+y0sinβy0（1-cosβ）-x0sinβ]。由仿射变换矩阵可知，仿射旋转变换矩阵为：

[M=cosβ-sinβx0（1-cosβ）+y0sinβsinβcosβy0（1-cosβ）-x0sinβ]. （7）

以九针端子为例，若要对目标区域（九针端子）进行旋转矫正，需对图7阈值分割提取端子，然后获取其外接矩形中心点和倾斜角，最后用式（7）计算仿射旋转变换矩阵完成倾斜矫正，如图8（a）所示。同理，七针端子倾斜矫正同上，如图8（b）所示。

2.2 行列等比例缩放模板匹配

由于产品固定位置和端子大小存在差异，使得旋转校正后，端子中心和PIN针穿插孔洞中心坐标不同，导致不能直接设置端子中心和基准点坐标。本文分析端子内形状特征发现，穿插孔与拱形结构成对出现且两者中心点的距离固定，若定位拱形结构中心点，则可计算出基准点坐标。由图8可知，因为在插针顶端对焦，所以拱形结构模糊，导致该区域边缘梯度复杂多样。如图9所示，若使用该拱形区域为形状模板进行模板匹配，会出现误选、漏选、时间长等现象。

针对该问题需优化形状模板和模板匹配算法。为解决拱形结构模糊导致模板梯度复杂的问题，首先，需要重新对焦于拱形区域直至清晰；然后，进行预处理如：强化、阈值分割、膨胀等提取模板图像；最后，创建形状模板。其流程如图10所示。

行列等比例缩放形状模板创建流程：首先，利用Canny算子提取模板图像[n]个边界点[p={（xi，yi）|i=1，2，…，n}]；然后，利用Sobel算子计算对应梯度向量[dmi=（ti，ui）T]，其中[t]和[u]分别对应[x和y]方向梯度向量。因此，形状模板表示为式（8）。考虑到模板图像与图8拱形区域尺寸大小不同且角度不同，若直接用式（8）进行模板匹配，七针端子匹配不到，九针端子匹配位置不准确，因此，模板[M]要进行旋转和尺寸变换。由于尺寸不同是由对焦产生等比例行列缩放所导致，所以模板[M]需进行旋转和等比例缩放变换[13]。设矩阵[A]为满足旋转和等比例缩放变换矩阵，则[p=Ap]，梯度向量为[dmi=（t′i，u′i）T]。本文根据拱形结构与形状模板大小和角度比较，设置行列缩放比例为0.95～1.25，九针端子旋转角度为[rad（45）]到[rad（-45）]，七针端子旋转角度为[rad（135）]到[rad（225）]，其形状模板为式（9）。

[M={xi，yi，dmi|i=1，2，…，n}]， （8）

[M={x′i，y′i，dmi|i=1，2，…，n}]. （9）

模板匹配机制是将形状模板与待匹配对象的相似度与设定阈值进行比较，若大于阈值则匹配成功，且相似度越高则匹配对象与形状模板越吻合，反之匹配失败[14]。模板匹配过程是目标图像利用模板参考点（一般为模板重心）和边缘点的相对位置关系，得出一系列点[q=（x，y）T]及其梯度向量[dsx，y=（vx，y，wx，y）T]，然后求式（9）中[dmi]与[dsx，y]的相似度。其相似度函数为：[S=1ni=1n（dmi，dsx+x′i，y+y′i）]，由该表达式可知，相似度的值取决于梯度向量模，即取決于图像灰度值大小[15]。因此，需要对该函数进行归一化，消除环境对结果的影响。

[S=1ni=1n（dmi，dsx+x′i，y+y′i）||dmi||*||dsx+x′i，y+y′i||]. （10）

将式（9）与式（10）进行匹配发现，虽然准确率高，但是匹配时间需要8.6 s左右，原因是目标图像与模板分辨率高，模板遍历图像并计算相似度的过程耗费时间多。因此，构建图像金字塔从低分辨率到高分辨率逐步定位匹配，能提高目标搜索效率[16]。本文通过实验的方式，对比1～5层塔模型匹配时间和准确率来选择合适的金字塔层数。由表1可知，构建3层金字塔最为合适。

行列等比例模板匹配能够有效定位端子的拱形结构并获取重心坐标。根据产品实际测量，拱形区域重心距离穿插孔洞中心约1.5 mm。旋转矫正后视野宽×高为39.4 mm×59.1 mm，图8中图像大小宽×高为3 648 pix×5 472 pix。根据式（11）可计算出像素实际尺寸（S）为0.010 8 mm，则1.5 mm和0.1 mm分别为136个像素和9.26个像素。

[S=maxWs/Wt，hs/ht]. （11）

其中：S——像数实际尺寸；[Ws]——视野宽；[Wt]——图像宽；[hs]——视野高；[ht]——图像高。

利用拱形结构重心到穿插孔中心像素距离，定位插针区域。如图11所示，十字标注为重心位置，矩形框是以基准点为中心生成的PIN针区域。与图9对比发现，该算法适用于模板尺寸变化的情况，且未发生漏选现象，定位准确。

2.3 边缘检测与PIN针偏移量获取

该检测系统对焦于PIN针尖端。如图8所示，尖端边缘灰度值突变，其周围平滑。根据该特点，对插针区域图像增强，然后利用Sobel边缘检测获取顶端边缘信息[17]，如图12所示。

Sobel算子能有效检测边缘特征明显的图像，其利用一阶微分求导，来计算水平和垂直边缘的梯度值，并利用阈值来选择边缘点[18]。算法过程如下：

1）图像[f（x，y）]强化为[f（x，y）]。

2）对图像[f（x，y）]分别在[x和y]方向求导，得到[Gx]和[Gy]。Sobel算子的卷积模板：

[Gx=-10+1-20+2-10+1，Gy=-1-2-1000+1+2+1]. （12）

3）计算图像近似梯度：[G=G2x+G2y]。

4）设置合适阈值得出边缘点。

本文检测PIN针中心点流程如图13所示。

设插针中心点为[（x1，y1）]，基准点为[（x0，y0）]，则偏移量[H=（x1-x0）2+（y1-y0）2]。

利用单位转换后的偏移量与阈值0.1 mm比较，判断插针是否歪斜。表2—表5列出了PIN针偏移结果。

由表2—表3可知，该系统可判断出大于0.1 mm的歪斜插针，由于测量仪器精度为0.05 mm，测量的实际偏移量误差大，导致计算的相对误差不准确。因此，利用中心点行、列相对误差，判断插针中心点求取的准确性。由表4—表5可知，每行和每列的相对误差控制在0.3%以下，反映了测量的准确性。根据现场实际情况判断，从4月份设备投入使用到10月份截止，通过率为98.61%，误判率为0，满足工业精度要求。图14为检测结果图。

3 PIN针歪斜检测软件设计

Halcon是德国MVtec公司开发的视觉算法工具[19]。本文通过对采集图像的视觉信息特点进行分析并设计图像处理步骤，利用Halcon编程环境对图像旋转、倾斜矫正、模板创建、模板匹配、边缘检测及偏移量获取等算子进行编写和修改，方便上位机进行调用。图15（a）为算子编写。

WPF是微软推出的面向对象的用户界面框架，可完成上位机界面设计、图像处理算子调用与通讯。图15（b）为检测软件上位机界面，该软件实现了图像实时显示、计数汇总、检测结果追述、扫码、自动检测、自动保存结果、MES通讯等功能。

4 结论与展望

本实验在规定时间内对PIN针歪斜进行有效地检测，利用旋转和仿射变换的方法，实现对图像倾斜的矫正；基于行列等比例模板匹配的方法对拱形区域提取，实现基准点和插针区域定位；通过Sobel边缘检测算子实现对PIN针中心点获取，从而完成对PIN针偏移量的计算。根据现场实际情况判断，从4月份设备投入使用到10月份截止，歪斜检测通过率为98.61%，误判率为0，检测时间为0.7 s，满足工业生产要求。

该视觉采集设备对焦于PIN针尖端，无法清晰采集插针底部和中部，导致无法检测弯曲的或呈螺旋状且不歪斜的插针。下一步研究将针对螺旋插针，利用PIN针顶部角度进行筛选；针对弯曲插针，利用模组z轴移动，改变相机焦距，实现对弯曲插针的判断。

参考文献

[1] 徐永军.电动乘用车快换电池连接器设计及性能研究[J].汽车实用技术，2019（5）：3-6，10.

[2] 姜景科，秦琴，严学井，等.基于3D激光传感器的汽车连接器PIN针高度检测系统[J].上海第二工业大学学报，2020，37（2）：124-128.

[3] 赵大兴，彭煜，孙国栋，等.高精度视觉测量系统中检测方法的研究[J].制造业自动化，2014，36（9）：25-27.

[4] 王衢，林川，陈永亮.基于ResNet网络与离散变分自编码器的精细轮廓检测方法[J].广西科技大学学报，2022，33（3）：8-13，28.

[5] 南京晨光集团有限责任公司，江苏金陵智造研究院有限公司.电连接器插针歪斜远心视觉检测装置：202020956432.0[P].2020-12-04.

[6] 苏州百拓智能装备有限公司.电测与PIN针歪斜检测机构及检测方法：201910408873.9[P].2019-09-20.

[7] 威洛斯，焦宗夏.基于VisionPro的焊膏印刷機视觉定位系统[C]//第十二届中国体视学与图像分析学术会议论文集，2008：543-549.

[8] 张晓，林川，王蕤兴.轮廓检测深度学习模型的多尺度特征解码网络[J].广西科技大学学报，2021，32（3）：60-66.

[9] 凡良玉，潘丰.基于视觉的接插件pin针正位度检测系统设计[J].江南大学学报（自然科学版），2015，14（6）：762-768.

[10] 郝蕊洁，万小红.插值算法在图像旋转中的应用[J].运城学院学报，2014，32（2）：86-88.

[11] 行薇.图像插值技术在图像处理中的应用[D].长春：长春理工大学，2012.

[12] 管焱然，管有庆.基于OpenCV的仿射变换研究与应用[J].计算机技术与发展，2016，26（12）：58-63.

[13] 王凯，余振军，何显辉，等.改进的多尺度形状模板匹配算法[J].激光杂志，2022，43（4）：82-87.

[14] 陈金胜，陈兴杰，彭乐乐，等.基于边缘特征的无砟轨道扣件定位方法[J].计算机测量与控制，2018，26（5）：166-169.

[15] STEGER C.Occlusion，clutter，and illumination invariant object recognition[C]//2002 International Symposium of ISPRS Commission III on Photogrammetric Computer Vision，PCV 2002：345-350.

[16] 刘思丹，卓勇，施哲彦，等.改进的模板匹配金字塔搜索算法[J/OL].激光杂志，2022：1-7（2022-08-05）[2022-09-10].http：//kns.cnki.net/kns8/defaultresult/

index.

[17] 罗霞，唐清善，崔兴倩.基于Sobel算子的爆竹筒装药量检测方法的研究[J].电子设计工程，2022，30（12）：113-117.

[18] 朱地博，李春贵.多尺度结构元素形态学边缘检测算法的研究[J].广西科技大学学报，2017，28（4）：92-96.

[19] 张伟超.基于HALCON的PCB缺陷在线视觉检测系统[D].济南：齐鲁工业大学，2021.

Design of connector PIN needle skew detection system based

on machine vision

ZHAO Weipeng1， PAN Shenghui*1， LI Zhennan2

（1. School of Automation， Guangxi University of Science and Technology， Liuzhou 545616， China;

2. R&D Center， Jiangsu Lider Electronic Information Co.， Ltd.， Nantong 226600， China）

Abstract： Traditional PIN needle skew detection mainly relies on manual observation or testing with sockets and other workpiece， which can not meet industrial requirements due to the low detection efficiency and accuracy. To solve these problems， the Halcon vision development software and C# language are jointly programmed to design a connector PIN needle skew detection system based on machine vision. Firstly， through the analysis of the internal visual features of the connector terminals， the row and column equal scaling template matching is adopted to determine the reference point and locate the PIN needle area， which solves the problem that the traditional shape template matching is not accurate after the target size changes. Secondly， Sobel edge detection and shape transformation on the positioning PIN needle are performed to determine its center point; Finally， the Euclidean distance between the reference point and the center point is calculated to obtain the PIN needle offset. The practical application results show that the skew detection system in this paper has an accuracy of 0.1 mm， a pass rate of 98.61%， a false positive rate of 0， and a detection time of less than 1 s， which meets industrial requirements.

Key words： Halcon; machine vision; PIN needle skew detection; row and column equal scaling template matching; Sobel edge extraction

（责任编辑：黎 娅）