王 一,李龙飞,陆坤龙

(华北理工大学电气工程学院,河北 唐山 063200)

1 引 言

汽车前挡风玻璃涂胶是汽车涂胶环节的重要部分[1],在涂胶过程中由于机械振动,出胶不稳定等原因,常常出现断胶、胶体过宽过窄、偏厚偏薄等缺陷,对汽车的舒适性和安全性造成极大影响,由此需要对涂胶质量进行严格把控。由于胶体不宜接触,非接触测量成为最佳测量手段[2]。目前的非接触测量方法主要包括二维检测和三维检测两种,二维涂胶检测主要是基于相机采集的图像,经过图像处理,根据图像中的对比度和边缘信息来判断涂胶宽度和位置是否符合标准。其中,王亚运[3]通过神经网络建立标准的涂胶质量信息库实现涂胶质量检测。刘克平[4]采用基于Halcon软件的涂胶质量检测方法计算胶体截面直径。廖勇[5]通过比较标准涂胶图像与实际图像的对应特征来检测涂胶质量。陈甦欣[6]利用工程图中的涂胶轨迹数据计算胶体宽度和位置。殷苏民[7]设计了一套基于机器视觉的电池涂胶缺陷在线检测系统,采用视觉传感器作为图像处理模块,通过对电池涂胶图像进行处理和分析,进而判断电池涂胶质量是否有缺陷。这种基于机器视觉的二维检测方法无法检测胶体的厚度信息,只能检测胶体宽窄,断胶等缺陷,并且容易受到阴影、对比度等影响,造成胶体边缘识别错误,存在很大局限性。

与二维检测方法相比之下,三维检测[8]的优势能很好地体现出来:一方面,能够获得胶体的宽度和厚度,对涂胶质量做更全面的监控,能有效克服二维检测中出现的误判问题；另一方面,不易受环境光线的影响,在胶体与基底颜色的对比度很低的情况下也能完成检测任务,适应性更强。此外,无需分别设立涂胶工位与检测工位,可以将两工位结合,实现边涂胶边检测,提高了生产和检测效率。其中,基于线结构光的三维检测技术在尺寸测量和质量检测方面表现突出,将其引入到涂胶生产线上已成为目前企业和院校的研究热点。本文针对涂胶检测中的实际问题给出具体的测量方案,将视觉检测装置安装在工业机器人末端的胶枪上,工业机器人携带视觉检测装置,采用线结构光测量方法对胶体宽度和厚度进行在线测量,进而完成对涂胶质量的有效监控。

2 涂胶质量检测系统设计

2.1 系统性能要求

本文的涂胶质量在线检测系统是利用线结构光三维检测技术对汽车前挡风玻璃涂胶质量进行实时监控,在硬件平台的设计方面,第一,需要考虑检测系统的兼容性,涂胶检测装置作为辅助设备,是在原有的涂胶系统基础上的装备升级,要求与原有的涂胶系统相兼容。第二,需要考虑胶枪四周空间的局限性,结合现场的具体工况,设计合理的测量方案,不能影响正常的涂胶操作。以胶体的宽度和厚度作为判断涂胶质量好坏的标准。要求检测的胶体宽度为10 mm±1 mm,厚度为6 mm±1 mm,胶体宽度和厚度检测误差不高于0.4 mm。

2.2 检测技术难点分析

2.2.1 线结构光投射方式

线结构光视觉测量由于其结构简单、精度高、实时性好及环境适应性强等优势,满足本课题的测量需求[9],故本文将采用线结构光模式。按激光器、被测物和相机三者的位置关系可分为三种线结构光投射方式,如图1所示,图1(a)的投射方式为垂直入射式,即入射光线与被测面垂直,摄像机从另一侧倾斜采集光条图像；图1(b)的投射方式为斜入射式,即入射光线与被侧面法线有一定夹角,摄像机垂直被测面采集光条图像,图1(c)的投射方式为线激光器倾斜投射到被测物表面,摄像机从另一侧倾斜采集光条图像。

图1 线结构光投射模式分类Fig.1 Classification of line structured light projection modes

由于图1(c)的投射方式占用的空间体积明显大于前两种,在进行涂胶操作时容易受到影响,在工业检测领域应用较少。而另外两种投射方式由于结构简单、体积小巧等优点被广泛应用。直射式和斜射式在夹角相同的情况下,直射式的测量范围更大,直射式的放大倍率要大于斜射式,但因为放大倍率与分辨率成反比关系,所以斜射式的分辨率相对较高。另一方面,斜射式接收的是被测物表面的反射光,在激光器功率较低时,仍可以进行测量,但是斜射式由于存在入射角度,导致光条宽度变大,光强分布不均匀,而直射式由于垂直投射,光强较为集中,光条宽度小,测量精度更高。

综合考虑涂胶检测中传感器的检测方式和应用环境,选择图1(a)的垂直入射式,能够更精确地实现对胶体宽度和厚度的测量,为涂胶检测系统的方案设计奠定了基础。

2.2.2 单目线结构光测量问题

目前一些汽车生产企业通过在胶枪上装配单目线结构光传感器的方法,对涂胶质量进行在线检测。在检测过程中发现,该方案针对直线型涂胶路径能表现出较好的检测效果,但是当面对转角较多的复杂涂胶路径时,会出现检测盲区。尤其是在涂胶方向突变的情况下,可能出现激光线扫描不到胶体的情况。这是由于胶枪本身有一定半径,以及密封胶的凝固定性需要一定时间,所以线激光不得不置后于胶枪口一定距离,当胶枪运行到转弯处,需要经历从直线进入圆弧,再从圆弧进入直线这个过程,激光线在这个过程中无法准确地跟踪涂胶路径,这样就导致了检测失败。采用此方案对汽车的前挡风玻璃进行涂胶检测时,在挡风玻璃的四个转角处均可能出现检测不到的问题,这里称为“漏检区域”,如图2所示。

图2 汽车前挡风玻璃漏检区域Fig.2 Missed inspection area of car front windshield

本文针对单个线结构光传感器在涂胶检测中存在检测盲区的问题,提出一种利用三个线结构光传感器组合测量的方法对胶体进行三维测量。整个检测装置共有三组激光成像单元且相互独立,每组激光成像单元的激光器与摄像机一一对应,每个摄像机采集与其对应的激光线图像。三个线激光器环绕胶枪喷嘴,垂直投射到待涂工件表面,形成一个闭合的三角形光刀,检测装置安装结构如图3所示。

图3 线结构光传感器组合测量装置Fig.3 Line structure light sensor combined measuring device

胶枪固定在三个线结构光传感器的中心位置,这样的设计可以确保胶枪在涂胶过程中沿任意方向均没有检测盲区。当胶枪运动到涂胶转角位置时,传统的单线结构光测量方案需要机器人控制胶枪绕自身轴线转动来改变涂胶方向,以保证激光线始终保持在胶枪后方对已涂胶体进行检测,而本文设计的测量方案即使在涂胶路径变化时也不需调整胶枪涂胶方向,这样有效节省了机器人手臂的一个自由度,大大提高了生产效率。

2.3 检测系统构成及工作原理

涂胶质量检测系统主要由图像采集硬件系统和质量检测软件系统两部分构成[10],如图4所示,主要包括工业机器人、控制柜、涂胶工具、线激光器、CCD相机以及计算机等。硬件部分主要负责实时采集图像,软件部分主要进行图像的处理和特征提取。为实现连贯涂胶的三维尺寸测量,将涂胶工具安装固定在机器人末端,涂胶检测装置设计中间通孔,可直接嵌套在胶枪上,工业机器人作为载体,按照预先设定的涂胶轨迹,在涂胶过程中实现边涂胶边检测。

图4 涂胶质量检测系统Fig.4 Glue quality inspection system

涂胶质量检测系统基本工作原理:首先通过相机采集光条图像,并传输到计算机,然后经过图像处理,得到胶体截面轮廓的像素尺寸信息,最后通过线结构光测量的数学模型以及事先标定的参数计算得到胶体实际截面轮廓的尺寸信息,并将相应结果进行分析,若不符合标准则发出警报。

3 线结构光测量原理与数学模型

3.1 三角法测量原理

激光三角法是线结构光测量的理论基础,被广泛应用于环境复杂、精度要求较高的工业领域。在线结构光三维检测系统中,激光器、被测物和摄像机三者的位置关系共同构成了三角结构,光学三角法测量即来源于此,其基本工作原理如图5所示。

图5 三角法测量原理Fig.5 Principle of Triangulation Measurement

激光器投射出线结构光于被测物表面,光线基于被测物表面特征而被调制成特征变形光条,被测物表面的三维信息就存储在这个特征光条上,通过工业相机采集携带三维信息的光条图像,经计算机对光条图像进行处理,提取光条中心,根据测量系统的数学模型,即可将光条图像上的二维点转换到空间的三维点,由此可得到被测物表面一处光条位置的信息。将线结构光检测系统安装在工业机器人末端关节随机器臂一同运动对被测物进行扫描,进而得到整个被测物表面的三维轮廓。

3.2 线结构光数学模型

由坐标变换和透视成像原理建立数学模型,如图6所示,这里采用线面模型。这里的线指光平面上任意一点Pw在像平面上的Pu点对应的唯一一条过摄像机光心的射线OcPu,面指线激光器投射的光平面。若射线方程与光平面方程已知,进行方程联立即可确定线面二者交点的三维坐标,即为线面模型的测量原理。

图6 线结构光传感器数学模型Fig.6 Mathematical model of line structured light sensor

在线结构光测量的数学模型中,Ou-XuYu为图像坐标系,Oc-XcYcZc为摄像机坐标系,Ow-XwYwZw为世界坐标系,其中Ow为光平面与摄像机光轴之间交点,f为镜头焦距,ZC为光轴,Oc为光学中心,利用世界坐标和像素坐标二者间所存在的转换关系,可以由已知的Pu点的像素坐标(u,v),得到点P在世界坐标系下的坐标为(xw,yw,zw)。

设光平面上任意一点Pw,其在摄像机坐标系下归一化图像坐标为(Xn,Yn,1),则OcPu的直线方程为:

(1)

以摄像机坐标系作为传感器的测量坐标系,设(xc,yc,zc)为光平面上任意一点Pw在摄像机坐标系下的坐标,则光平面方程为:

Acxc+Bcyc+Cczc+Dc=0

(2)

式中,Ac、Bc、Cc和Dc为光平面方程系数。

联立公式(1)和(2),已知摄像机模型参数和摄像机坐标系下光平面方程系数即可求得光平面上任意一点在摄像机坐标系下的三维坐标。

(3)

4 涂胶质量检测系统性能实验

实验平台如图7所示,搭建涂胶检测系统,其中关键硬件设备主要包括:Baumer的VLG-12M工业相机,Computar的相机镜头,HO-Y635PX-22110的红光线激光器。此外,还包含相机支架、胶体、计算机以及KUKA工业机器人等。

图7 实验平台Fig.7 Experiment platform

相机在最大分辨率下的帧率为42 f/s,在1 s时间内能够采集并传输42张图像,每张图像的最小采集时间间隔为1000/42=23.81 ms,结合机器人最大涂胶速度6 m/min,可知图像最小采集时间内胶枪涂胶长度不超过2.38 mm,完全满足实时在线检测的硬件要求。选用的镜头焦距为12 mm,镜头规格与相机的CCD尺寸相互匹配。已知相机成像尺寸为4.8 mm×3.6 mm,设定最小工作距离为100 mm,视野范围为40 mm×30 mm。

实验步骤:

第一步,进行相机标定。实验中根据张正友标定法进行相机标定[11],以像平面中心点为原点建立坐标轴将成像平面分为四个象限,相机分别采集位于四个象限的棋盘格标定板图像,且在每个象限中进行不同方向的两次倾斜,采集了12张不同方向的标定板图像,利用Matlab2016b中的Camera Calibrate进行标定,得到的标定结果如表1所示。

表1 摄像机标定参数Tab.1 Camera calibration parameters

第二步,进行光平面标定。本文采用基于二维平面靶标的线结构光标定方法[12],通过坐标系转换关系和最小二乘法,将多组光条中心线拟合光平面,弥补了传统方法中标定点少的问题,大大提高了标定精度。将激光线投射于棋盘格标定板的边缘空白区,如图8(a)所示,使用灰度重心法提取光条中心线[13-14],得到如图8(b)所示的光线。

图8 光条图像处理Fig.8 Light bar image processing

将棋盘格标定板按多种角度摆放,求取多组光条中心线在相机坐标系下的直线方程,将多组直线方程用最小二乘法拟合平面,如图9所示,最后求得在摄像机坐标系下的光平面方程。由此得到的光平面方程系数为Ac=-0.0145,Bc=-0.7586,Cc=0.6513,Dc=-286.8143。

图9 最小二乘法拟合平面Fig.9 Least squares method to fit a plane

第三步,测量胶体宽度和厚度。对线结构光测量系统完成标定后,对胶体进行三维尺寸测量[15],实验中采用日本基恩士的LJ-V7000系列轮廓测量仪对胶体宽度和厚度进行测量并作为本次实验的真实值,通过测量值与真实值的比较得到单次测量的误差,多次测量值计算平均绝对误差。从胶体颜色和涂胶量两个方面深入研究,在胶体颜色方面,由于不同颜色的胶体吸光强度不同,导致光条图像在宽度、峰值等方面存在差异,对测量结果产生影响。在涂胶量方面,由于激光直线亮度不均匀,中间区域较边缘能量高,所以当光条中心区域扫描到胶体时,图像效果最好,精度最高,而采用大口径的胶枪喷嘴时会使胶体过宽,胶身不能完全处在光条中心区域,从而产生影响。针对这两个外界因素,分别设计实验并进行分析。

将线激光投射分别投射在三种颜色的胶体上,工业相机进行光条图像的采集,不同颜色胶体光条效果如图10所示。

图10 不同颜色胶体光条效果图Fig.10 Light bar renderings of different colors of glue

由图10可以看出白色胶体光条图像效果较好,光条凸起部分较为明显,而蓝色和黑色胶体对光的吸收能力较强,导致光条凸起部分的光线强度较弱,特别是黑色胶体,在胶体边缘处的光线被吸收,导致部分检测区域没有提取到光条信息。

采用本文测量方案测量数据与真值进行比较,分别得到三种颜色胶体的测量误差,如表2所示。

表2 不同颜色胶体测量误差Tab.2 Measurement error of different color glue

由表2分析可知,对于不同颜色的胶体检测效果有差异,白色胶体测量误差最小、蓝色胶体次之、黑色胶体相对较差。

实验中选取出胶口直径分别为5 mm、10 mm、15 mm的胶枪涂制三段不同胶量的胶体进行误差检测,得到不同涂胶量的测量误差对比,如表3所示。

表3 不同涂胶量的测量误差对比Tab.3 Comparison of measurement errors ofdifferent amounts of glue

通过实验数据分析可知,对于5 mm口径的胶枪测量误差较小,对于15 mm的口径的胶枪测量误差相对较大,这是由于投射的线激光符合高斯特征,光线亮度不均匀,中心区域能量最高,边缘区域能量低,所以当光条中心区域扫描到胶体时,图像效果最好,精度最高,由于采用15 mm口径的胶枪喷嘴产生的胶体宽度较大,导致不能胶身不能完全落在光条能量最高的中心区域,所以测量误差相比之下略大。

5 结 论

将基于线结构光的三维测量技术引入涂胶生产线,实现对涂胶质量的严格监控。针对涂胶检测中的难点问题制定了的涂胶检测系统方案,利用三个线结构光传感器组合测量的方法对胶体参数进行全方位检测。介绍了检测系统构成及工作原理,并对关键硬件设备进行了选型。研究了线结构光的三角法测量原理与数学模型。搭建了涂胶检测系统硬件实验平台,给出了检测系统的整体性能要求和检测任务,将胶体宽度和胶体厚度作为评价涂胶质量的标准。对影响测量精度的外界因素(胶体颜色和涂胶量)进行了研究探讨,并对产生误差的原因进行分析,实验结果表明胶体颜色对检测效果有差异,其按检测效果从好到差依次为白色胶体、蓝色胶体、黑色胶体,但基本满足检测系统的精度要求。涂胶量对测量精度影响有较小差异,需要考虑具体的应用环境选择胶枪喷嘴口径。