游秋香， 赵棋唯， 谌永祥， 李永桥

(1．西南科技大学 制造科学与工程学院,四川 绵阳 621010；2．西南科技大学城市学院,四川 绵阳 621010)

0 引 言

随着现代工业的飞速发展，铆接工艺是先进制造业的一个重要环节。在民用企业中，对于大尺寸钣金件多采用具有自动出钉的立式铆钉机进行人工铆接，这种操作方式自动化程度低、稳定性差、生产率低。基于工业机器人和十字滑台设计的小型半自动送料装置[1]，实现了送料过程的自动化，成为目前研究的热点。

现有薄板铆接孔定位不具备实时性，需要人输入薄板孔位置到控制程序中，进行运动路径规划。双目立体视觉技术具有非接触、测量速度快、精度高、自动化程度高、结构简单等优点，被广泛应用于国内外各个行业，如焊接焊缝缺陷检测、大型农机热锻件尺寸测量、医疗机器人手术定位导航[2]、农作物识别、鱼苗生长尺寸测量[3]等。

基于双目视觉的铆钉机自动铆接，主要是配合小型半自动送料装置和立式铆钉机，用两台同型号的相机获取代加工薄板的图像后，采用形态学算子去噪平滑图像和Hough变换[4]提取薄板边缘，根据薄板形状与环境的差异分割出薄板，通过计算孔位圆近似比提取圆心坐标。基于“回”字形式的位置约束匹配，实现了特征点匹配，所提出的方法为高精度坐标为自动铆接奠定了基础。

1 双目视觉原理

双目立体视觉技术[5]基于视差原理，用两台同型号的摄像机模拟人眼在同一时间不同方位对同一个目标分别获取图像信息，计算两幅图像间对应像素点的位置偏差来获取目标物体的三维空间信息。

图1 平行双目视觉原理

图1为理想的平行双目视觉原理模型，图中两摄像机的内参一样，焦距为f，基矩B为两个摄像机光心的间矩，两摄像机光轴平行并与像平面的交点为OL,OR，左右两像平面重合。空间中一点P(x,y,z)在两摄像机的像平面的投影为PL(XL,YL),PR(XR,YR)。由透视变换几何关系可知点P,PL,PR之间的数学关系如下

(1)

从式(1)中可以看出PL,PR两点只在横坐标存在视差D=XL-XR，由此可知P点的三维坐标为

(2)

因此，根据双目立体视觉原理可知，两摄像机内参一致，一台摄像机像平面上的任意一点只要能在另一台摄像机像平面上找到匹配点，就能确定该点的空间坐标。

2 铆钉薄板图像处理算法

2.1 薄板区域的提取

两台同型号的像机获取的左右图像受到外界环境的噪音干扰，不能直接用于薄板孔心定位，需要先对两幅图像进行滤波、去噪、灰度化、二值化等预处理。

分析获取的图像及薄板自身的特点可知：1)薄板与背景亮度差异较大，采用阈值的方法将获取两幅图像转换为具有完整薄板信息的二值图;2)薄板区域连通性好，对获取的二值图取反并采用形态学填充空洞和膨胀处理，能使薄板信息更详细，用Canny边缘提取算子获取薄板轮廓信息;3)铆钉薄板形状为矩形，根据四条边的直线特性，采用Hough变换检测边缘的直线特征，结合薄板是由规则四条边围成的区域的线性约束条件，可将薄板从复杂的背景中分割出来，为圆心的提取做准备。根据上述方法对左右两幅图处理结果图2所示。

图2 薄板区域分割结果

2.2 目标孔区域提取

1)形态学运算消除干扰。从图2(b)和图2(d)可以发现提取的薄板区域图中有不属于目标圆孔特征的干扰信息，需要进一步去噪。遍历薄板分割图，计算所有8连通区域的像素值，记为Ia(a=1，2…，b)，代入式(3)中，将满足的连通区域灰度值置为与背景一致，则消除了干扰信息

(3)

2)目标孔区域面积及周长计算。计算目标孔区域内各个像素的8邻域，若领域内像素值均为1，则权值为1，对权值求和即为目标孔区域的面积，记为Sn(n为目标孔个数，n=1，2…，m)。采用差分法求各个目标孔区域周长，即计算每个目标孔区域边界的相邻两像素的距离，累加距离求和，记为Cn(n为目标孔个数，n=1,2…，m)。

3)计算目标孔区域的圆度，判断是否为圆形。将Sn,Cn代入式(4)，计算目标孔的圆度Tn

(4)

根据Tn值是否大于0.92判定目标孔是否满足圆的要求，保存满足目标孔，结果如图3所示。

图3 目标孔区域圆度与质心

2.3 获取圆孔心坐标

圆孔中心的提取主要分为椭圆拟合法[6,7]和质心法[8,9]。由于获取的目标图像中目标圆孔只是类似于椭圆，采用椭圆拟合法时会造成中心偏移，不能满足工业要求，故采用质心法获取圆孔心坐标。质心法包括传统质心算法、加权质心算法、阈值质心算法以及距离质心算法，由于获取的薄板二值图已将目标孔与背景完全分离，且目标孔边缘清晰完整，故采用传统质心法。

传统质心算法[10]获取圆孔心的坐标，是先对连通区域内各个像素点对应灰度值求面积，再求和，最后在该连通区域内作面积平均。在图像坐标中，一个栅格代表一个像元，一个像元的宽度、高度分别对应x轴、y轴的单位坐标。令xi=i，yi=j，其中i=0,1,…，j=0,1,…；可知第i行第j列像元坐标为(xi,yj)，灰度值为I(xi,yj)，则质心可以表示为

(5)

(6)

如图3所示，用上述方法对左右两幅图获取的目标孔质心用黑色“.”表示。

3 特征点匹配

立体匹配[11,12]是对空间一点，求在同一时刻、同一位置由左右相机获取的两幅图片中的对应点，并进一步求得视差图。本文是对铆接板件孔中心点的三维重建，需要对20个特征点进行匹配，属于稀疏特征点的三维重建。对于铆接板件孔位定位不仅要考虑精度，还需要实时定位，结合薄板形状规则且孔位分布具有规律，故提出一种基于位置约束“回”字形的立体匹配方法。

板件孔位分布如图4，将四个顶点记为A,B,C,D，每个孔从1～20依此编号。要使左右两幅图的孔位特征点一一匹配，只需要将特征点与孔的编号一一对应。由于左图与右图的计算方式一样，在此用右图进行方法说明。

图4 板件孔位分布图

两点的距离公式为

(7)

点到直线的距离公式为

(8)

步骤如下：1)根据四个端点坐标求出直线AB，BC，CD、DA的方程。2)用式(7)计算20个特征点分别与4个顶点的距离，求出4个点对应距离最小的点，将顶点A对应的特征点标记为1，顶点B对应的特征点标记为4，顶点C对应的特征点标记为20，顶点D对应的特征点标记为17。

3)用式(8)计算剩余的16个特征点分别到四条直线的距离，找到分别与直线AD,BC距离最小的三个点，找到分别与直线AB，CD距离最小的两个点。求直线AD对应的三个点与点1的距离，按照距离由小到大将三个点标记为5,9,13；求直线BC对应的三个点与点4的距离，按照距离由小到大将其标记为8,12,16；求直线AB对应的两个点与点4的距离，按照距离由小到大将其标记为3,2；求直线CD对应的两个点与点20的距离，按照距离由小到大将其标记为19,18。4)用式(8)计算剩下的6个特征点分别到直线AD，BC的距离，找到分别与直线AD,BC距离最小的三个点。求直线AD对应的三个点与点2的距离，按照距离由小到大将三个点标记为6,10,14；求直线BC对应的三个点与点3的距离，按照距离由小到大将其标记为7,11,15。

用这种方法对左图和右图的特征点以“回”字形一一标记，通过位置约束的方式完成立体匹配，这种方法既不需要解复杂的方程，且易于实现，处理结果如图5所示。从图5中可以看出两幅图的特征点是按照设定的顺序一一排列，可见匹配率达到了100 %。

图5 匹配结果

4 实验及误差分析

4.1 平台搭建

基于双目视觉的铆钉机自动铆接平台结构如图1。整个平台主要由小型半自动送料装置、两台高分辨率的工业相机、光源、待加工薄板、计算机等组成，其中小型半自动送料装置是为了装夹及运送待加工薄板，相机是为了获取板件图像，计算机是为了对获取的图像进行处理。铆接薄板是金属且光泽较亮，光源过亮会产生衍射现象使板件的某些孔位信息缺失，且考虑到经济实用选用荧光灯作为光源。两台CMOS相机的分辨率为2 592 像素×19 44l 像素，像元尺寸为2.2 μm×2.2 μm，镜头焦距为8 mm。

4.2 相机标定

本文选用与板件大小差距较小、角点间距为30 mm的矩形棋盘格标定版，为使标定结果理想，标定时只取其中6行9列作为标定区域。结合张正友标定法，经过多次调整相机与标定板间的距离等，标定结果如表1所示。

表1 标定结果

4.3 误差分析

根据双目重建原理，对匹配后的特征点重建得到所有特征点的三维坐标。实验获得三维坐标分别从x轴、y轴与实际坐标的计算坐标相对偏差，结果如图6所示。从图中可以看出x方向偏差大多在-0.2～0.3 mm内，y方向偏差大多在-0.2～0.2 mm内。计算得到在x方向绝对平均偏差为0.195 mm，y方向绝对平均偏差为0.170 mm。

图6 圆孔质心坐标偏差

误差产生的主要原因有：薄板孔在加工时的精度误差与薄板形变误差；搭建的双目平台位置误差；图像处理中圆度计算精度有待提高。

5 结 论

本文根据实际板件特性分析，采用Hough变换与线性约束相结合的方法提取目标铆接板件。为了获得目标孔边缘，采用形态学去噪平滑图像，用Canny算法提取孔的边缘，结合连通区域面积阈值去除干扰信息，采用传统质心法和圆近似度判别提取孔的质心。用以“回”字形式的位置约束方法对两幅图像的特征点匹配，该法计算简单，速度快，无需解复杂的方程。实验结果显示，基于双目视觉的铆接孔定位误差为0.2587 mm，而铆接行业中对于薄板铆接中心定位精度在0.1～0.3 mm以内，该方法满足行业要求。