郝存明，雷 倩，张伟平

(1.河北省科学院应用数学研究所，河北 石家庄 050081; 2.河北省信息安全认证工程技术研究中心，河北 石家庄 050081)

基于机器视觉汽车扶手箱卡簧装配质量检测系统的研究

郝存明1，2，雷 倩1，2，张伟平1，2

(1.河北省科学院应用数学研究所，河北 石家庄 050081; 2.河北省信息安全认证工程技术研究中心，河北 石家庄 050081)

给出了一种基于机器视觉的全自动汽车扶手箱卡簧装配质量检测系统。利用由工业摄像机和光源组成的视觉系统采集汽车扶手箱装配部位的结构图像并对其进行分析处理。通过对图像进行去除噪声、模板匹配定位、目标区域图像分割等过程得到待检测部件的相对位置信息。运用软件来测量各个区域特征间的位置关系和面积大小并与标准值进行比较来判断装配质量的好坏，从而实现汽车扶手箱卡簧装配质量检测过程的完全自动化操作。

机器视觉；汽车扶手箱；装配质量检测；二值化；模板匹配

随着社会物质的极大丰富，人们对质量的要求越来越高。对于汽车行业而言，其汽车零部件的质量将会直接影响到整车的性能和美观[1-2]。汽车扶手箱为汽车驾驶室内饰件的一种，是为了驾驶员长期驾驶时，便于悬空的胳膊有放置休息的地方，以及安装先导手柄、油门旋钮、翘板开关等其它一些用途，其使用的频率较大。因此，对于汽车扶手箱卡簧装配质量的检测就显得尤为重要。常规的人工检测一次检测时间至少1min，很大程度上影响了生产效率，而且由于工人的工作态度、精神状态和情绪等原因都也会带来一些不可靠的因素，直接影响产品的质量与成本[3]。本文给出的汽车扶手箱卡簧装配质量检测系统实现了汽车扶手箱卡簧装配质量自动检测和自动判别的方法，人工不需要干预，消除生产过程中的安全隐患；系统会自动判别优劣，不再受个人的主观判断的影响；扶手箱检测时间只有200ms，比人工的检测速度得到了大大的提高。

1 扶手箱装配质量检测系统结构

本检测系统对汽车扶手箱卡簧装配质量判断的流程分为扶手箱图像采集、目标检测区域图像处理以及最后对不合格产品的剔除等过程，系统流程图如图1所示。

图1 汽车扶手箱检测流程图

本系统采用的是映美精工业摄像机和OPT环形光源作为图像采集系统。为了实现全自动的产品在线检测，本研究采用水平机械手作为不合格产品分拣装置。首先，在机器视觉系统下面安装上用于传送扶手箱的传送带，扶手箱放入传送带从一侧进入视觉系统检测系统的检测区域，由另一侧走出检测区。此外，通过给检测系统中的工业控制PC机上开发专用图像处理软件系统，能将采集的图像显示在软件界面上、并按设计的算法对待检测部位进行分析,最后软件会自动记录扶手箱卡簧装配质量的统计信息并保存装配不合格的图像。最终检测系统会通过串口将最后的执行命令发送给工业机器人控制系统，控制系统将控制水平机械手剔除不合格产品，实现对扶手箱的分类。

2 图像处理

2.1 图像去噪

汽车扶手箱通过传送带从视觉系统的一侧进入到达工业相机的检测区域，这时扶手箱触发激光传感器后，传感器发送脉冲信号到相机，相机进行拍照，采集到汽车扶手箱的图像。在工业环境中，相机会受到工业设备的电磁干扰，导致采集到的图像噪声污染比较严重，对后续扶手箱弹簧的位置的检测有较大的影响，因此当获取到扶手箱图像之后首先对采集的图像进行去除图像的噪声的预处理。中值滤波器是一种非线性滤波器，可以克服最小均方滤波、均值滤波等线性滤波器带来的图像细节模糊不足，并且对滤除椒盐噪声干扰尤为有效，由于工业环境易产生椒盐噪声，根据实际环境特点，本文采用改进的中值滤波[4]来更加有效去除椒盐噪声，提高图像质量。

2.2 图像分割

在实际应用中环境光线会发生变化，这导致在相同位置扶手箱背景和弹簧的灰度值分布可能是不一样的，这样就不容易利用固定的阂值的方法将扶手箱背景和弹簧分开。在实际应用时，如果可以动态地根据一定的规则，将图像灰度分布进行分析，确定图像分割阈值很有价值。最大类间方差阂值分割(OTSU)法[5]就是一种自适应的阈值选择方法，设一张图像的灰度值为m个，并且灰度值为i的像素个数为ni，则得到总像素个数：

(1)

各灰度值的概率：pi=ni/N

然后用k值将其分成两组C1[1…k]和C1[k+1…m]，则各组产生的概率如下：

(2)

(3)

(4)

(5)

(6)

因此采样的灰度平均值是u=W0u0+W1u1，计算两组间的方差是：

d(k)=W0(u0-u)2+W1(u1-u)2

(7)

把整体灰度平均值代入上式得到：

d(k)=W0W1(u1-u0)2

(8)

将k在1到m之间进行取值，k为分割的最佳阈值时，会使得d(k)的计算值最大。

图2 OTSU法二值化后的图像

2.3 模板匹配

在实际现场中，汽车扶手箱在传送带上的位置是不固定的，由于放置设备的不精确性，导致扶手箱在传送带上会有所偏移或旋转。本文采用图像匹配技术[6]，将待检测图像与已知模板图像进行匹配计算，判断待检测图像与模板图像的信息和坐标是否一致；对于模板与所覆盖子图的关系，用如下公式来衡量模板T(m，n)与所覆盖子图Sij(i，j)的相似性：

图3 算法模板

利用以下公式衡量它们的相似性：

(9)

公式(9)中，第一项和第三项分别为子图和模板的能量值，与模板匹配无关。第二项反应了模板和子图的相关性关系，并随子图坐标(i，j)的位置改变，当模板和所覆盖子图匹配较好时，该项的值应为最大值。对该式进行归一化，获得模板匹配的相关系数：

(10)

当模板和所覆盖子图完全匹配时，相关系数R(i，j)=1。在完全遍历被搜索图S后，找到相关系数R的最大值所对应位置的子图即为匹配目标。可看出，基于该公式的图像匹配算法计算量太大，耗时太多。因此，使用下面的公式来计算模板和子图之间的相似性：

(11)

该公式反映了两幅图像之间的差别，计算量小，速度快。根据匹配方向选取阈值E0，当E(i，j)>E0时即停止对该位置对应点的计算，继续下一位置的计算。图4表示的是左边的模板图像通过本文的模板匹配算法在扶手箱中获取到待检测的目标区域的效果图。

图4 提取扶手箱待检测目标区域

3 检测算法设计

装配质量检测过程如下：通过模板匹配方法确定需要检测的区域如图5，然后通过检测区域和检测目标的相对位置关系，确定检测目标的局部区域，并将检测目标区域提取作为进一步分析的目标图像，如图6。

图5 图像分割和区域筛选

弹簧和销子装配位置可以通过图6分割后的联通区域分布情况以及区域面积大小来确定。为了避免环境光线的变化对图像分析造成影响，采用的是OTSU阈值分割算法对图像进行二值化，然后将一些面积较小的联通区域虑除，达到满意的效果，最终效果如图7。

图6 对弹簧和销子装配位置进行检测

通过Labview编写的软件计算分割后区域总数、各个分割区域的中心位置以及分割区域面积，比较这些数值与正常要求值就能判别装配质量的优劣，之后发送命令给机械手将其拣出，最终形成汽车扶手箱卡簧装配质量全自动检测装置。

4 结论

通过机器视觉系统采集到汽车扶手箱的图片，通过中值滤波对图像进行预处理，减少噪声对图像信息的影响，然后采用块模板匹配的方法获取检测部位局部图像，采用OTSU自适应阈值分割算法，得弹簧和销子在图像中各个联通区域的分布状况，获取这些联通区域的位置关系和区域面积，通过对这些数值与标准参数进行比较，得出出汽车扶手箱卡簧装配质量的判断结果，从而实现汽车扶手箱卡簧装配质量的自动化检测。

[1] 沈伟, 庞全, 范影乐,等. 基于机器视觉的全自动汽车零件筛选系统[J].仪表技术与传感器, 2009，(9):97-100.

[2] 郑威. 基于嵌入式机器视觉的缺陷检测系统硬件设计[D].武汉理工大学, 2006.

[3] 孟祥雪. 基于机器视觉的汽车仪表读数检测技术研究[D].哈尔滨工业大学, 2012.

[4] 赵高长, 张磊, 武风波,等. 改进的中值滤波算法在图像去噪中的应用[J].应用光学,2011,32(4):678-682.

[5] 丁晓峰, 何凯霖. 基于最大类间方差的改进图像分割算法[J].计算机工程与设计,2015，(10):2765-2768.

[6] 唐琎, 李青. 一种快速的模板匹配算法[J].计算机应用, 2010, 30(6):1559-1561.

Research on the quality inspection system of vehicle handrail box spring assembly based on machine vision

HAO Cun-ming1,2，LEI Qian1,2，ZHANG Wei-ping1,2

(1.InstituteofAppliedMathematics,HebeiAcademyofSciences,ShijiazhuangHebei050081,China; 2.HebeiAuthenticationTechnologyEngineeringResearchCenter，ShijiazhuangHebei050081,China)

This paper presents a quality inspection system based on machine vision for automatic vehicle handrail box spring assembly.Collecte the structural image of vehicle handrail box spring assembly parts with the visual system which consists of industrial cameras and light source and then process the image datas rapidly. The relative position information of the part to be detected is obtained by doing some process such as image denoising, template matching, image segmentation and so on.Use the software to measure the location relationship about the regional characteristics and area size , and compare them with the standard value to determine the quality of the assembly, then achieve the fully automated of vehicle handrail box assembly quality inspection.

Machine vision; Vehicle handrail box; Assembly quality inspection; Binarization; Template matching

2017-02-21

河北省科学院科技计划项目(14605)

郝存明(1981-)，男，河北宣化人，硕士，助理研究员，研究方向为应用数学，E-mail：haocunming@163.com.

1001-9383(2017)01-0089-06

TP391

A