全燕鸣 李倩 黄富华



基于机器视觉的中小零件连续自动检测系统设计

全燕鸣 李倩 黄富华

（华南理工大学）

为缓解中小零件制品需大量检测人工、耗时费力且难以满足日益提升的品质要求的问题，面向工程应用，设计一套基于机器视觉的多品种中小零件连续自动检测系统。提出“多列并行”和“公共底座＋治具”方案，在一条垂直面循环的链板式输送带上布置多列治具底座，根据所需检测零件几何特点设计对应治具，多品种零件可混线连续被工业相机采集图像，并可自动分流和卸料；基于LabVIEW开发表面缺陷、几何形状和尺寸检测软件。实物样机检测冲压件的试运行结果表明：该检测系统软硬件协调运行，30个实验样本的检测正确率达到100%。

机器视觉；中小零件；自动检测；LabVIEW；图像处理

0　引言

机械零件种类多、产量大，其质量直接影响装配产品性能。零件质量检测是现代制造业的必要环节，提高检测可靠性和效率、减少检测耗时是提高生产效率的重要途径。目前，大多数制造企业仍采用人工检测方式，受工人生理和主观性影响较大，难以保证检测可靠性，且耗时长、效率低。

机器视觉以系统稳定、过程高效和结果准确的特点，被广泛用于工业零件的信息识别和特征检测中[1]。针对许多中小企业“以机代人”提高检测过程自动化和智能化的迫切需求，面向工程应用，开发一套基于机器视觉的多品种中小零件连续自动检测系统。该系统提高了检测效率，并记录每一个零件的状况，对生产具有指导性作用，可减少不必要的浪费。

1　检测流程与机电设计

基于机器视觉的多品种中小零件连续自动检测设备机械结构如图1(a)所示，链板机构绕水平轴在垂直面回转，连续输送被测件，检测流程如下：1）在上料区域人工将待测件放入治具中进行限位；2）待测件随链板机的回转运动到达图像采集区域时，光电传感器触发工业相机拍摄，获取待检冲压件图像；3）图像数据上传至上位机，利用LabVIEW软件平台对冲压件进行检测、测量、分析和判断；4）检测结果输出至分拣机构的Arduino逻辑控制器[2]，控制分料口挡板开合以实现合格品与不合格品的分离；5）在操作界面实时显示检测零件总数、不合格数、不合格率等数据，并把数据打包导出至Excel表格。

为使设备适用于多品种中小零件的自动检测，提出“公共底座＋治具”的解决方案。在图1(b)所示的局部放大图中可以看出，固定相机镜头的支架可以上下调节以改变视场范围，此设计可以满足不同检测零件所需的视场大小的调节。根据被测件的外轮廓设计治具上部轮廓，起到支撑和限制被测件方位的作用[3]，使需检测面向镜头暴露；治具下部统一形状尺寸，连接在公共底座上，后者固定在链板上，如图1(c)所示。这样的设计使得被测零件互相隔离、定位受检，有利于准确拍摄受检面和方便图像识别、被测件可自动下料、不同零件可共线检测并且更换治具操作简单快速。

为提高设备检测效率，提出“多列并行”的方案，在一定宽度的链板输送带上布置多列治具底座，相应配置多台工业相机和光源。每台相机或不同方向的多台相机摄取一列治具上的被测件图像，视图像复杂程度和检测速度（数据流量大小）可以一台工控机多线程处理多相机数据。“多列并行”方案的优点在于，仅用一台设备的占地面积和成本实现多台设备的功能，适用性广、效率高、成本低。

图1　基于机器视觉的多品种中小零件连续自动检测设备机械结构图

多品种中小零件连续自动检测设备的机电控制示意图如图2所示。设备运行时，相机和相机触发器构成的图像采集系统对被测件进行图像采集，并把采集的数据上传至基于LabVIEW软件开发的图像处理系统；完成图像处理后把检测结果发送至基于Arduino逻辑控制器的运动控制系统；根据检测结果进行逻辑运算，对分拣机构进行运动控制；最后在操作界面系统中实时显示检测信息，并把数据打包导出。

2　图像获取与处理及控制系统设计

图像获取与处理及控制系统流程如图3所示。

图2　零件检测设备机电控制示意图

图3　图像获取与处理及控制系统流程图

2.1　图像获取

视觉检测系统硬件选用国产500万像素相机、匹配进口镜头、LED光源；软件采用LabVIEW图形化编程软件平台、Vision Acquisition Software和Vision Development Module工具包。使用USB相机进行外触发图像采集，可低成本、便利地获取所需的图像数据[4]，图像采集程序如图4所示。在Session In中选择连接PC机的USB相机；当待0测件到达拍摄区域，光电传感器输出高电平；相机驱动程序检测到上升沿触发相机采集图像，并按IMAQ Write File.vi的输入端口File Path预设的路径保存图像。

图4　图像采集程序图

2.2　图像处理

图像处理是检测系统的核心，包括图像预处理和图像分析检测2部分[5]。检测系统采用“多列并行”的检测方式，对不同待测件需设计相应的检测程序。

2.2.1缺陷检测原理概述

被检测的2种零件如图5(a)、图5(b)、图5(c)、图5(d)所示。待测零件一检测螺母是否焊到了零件平面板的正面、螺母是否焊偏和螺母焊接数量等。通过光源照射，合格零件与不合格零件的特征区别在零件凹陷处（即图5(a)、图5(b)中方框所圈区域），其中箭头所指向的视图为方框区域的右视放大图。图5(a)方框区域的亮度高，图5(b)方框区域的亮度低，据此判断图5(a)中零件的螺母焊到了平面板的反面，即判定此零件为螺母焊在反面的不合格件。通过定位检测螺母孔的尺寸值，并与标准零件的尺寸值比较来判断螺母是否焊偏和缺焊。待测零件二检测螺母的焊接位置、焊接数量和是否焊偏等，图5(c)所示零件二的螺母焊接位置不正确，即判断零件不合格。

采用“多列并行”的检测方式，可同时检测2种零件。零件一和零件二的缺陷检测软件框架分别如图6(a)、图6(b)所示。

(a) 零件一不合格件

(b) 零件一合格件

(c) 零件二不合格件

(d) 零件二合格件

图52种被检测零件实物图

(a) 零件一缺陷检测软件框架

(b) 零件二缺陷检测软件框架

图6缺陷检测软件框图

相机采集图像时，受外在环境影响使图像存在噪声。噪声使图像模糊，特征淹没，给图像分析和识别带来困难，因此需要进行图像预处理以尽可能地消除噪声，减小对后续图像处理的影响[6]。图像预处理流程包括零件图像灰度化、消除噪声[7]、构建匹配模板等，过滤无用信息，得到零件图片的清晰特征。图像分析检测，不同零件采用不同的图像处理方法。

零件一方框区域的灰度直方图如图7所示，零件一首先通过局部模板匹配确定零件的原点坐标；然后在此坐标系下检测ROI（方框区域）的灰度值来判断螺母焊到了平面板的正面还是反面。图7(b)和图7(d)分别是图7(a)和图7(c)方框中的灰度直方图，可见螺母焊在平面板正面的合格件的ROI灰度值较小，螺母焊在平面板反面的不合格件的ROI灰度值较大，据此设置阈值范围以判断零件是否合格。通过测量计算螺母孔的通光直径与标准件直径值的差值是否超出误差范围，从而判断零件是否存在焊偏或漏焊等缺陷。

(a) 合格件

(b) 合格件方框区域灰度直方图

(c) 螺母焊反件

(d) 不合格件方框区域灰度直方图

图7零件一方框区域的灰度直方图

检测零件二的外形尺寸特征，把零件放入治具中进行限位，通过找寻治具上侧和右侧两条外边沿建立坐标系。在已建坐标系下检测零件上指定位置处螺母孔的直径值与标准件尺寸值的差值，根据差值是否在预设范围内来判断螺母有无漏焊、焊偏等缺陷。零件二的核心检测程序如图8所示。

图8　零件二核心检测程序

2.2.2图像处理检测软件设计

视觉检测系统以LabVIEW图形编辑语言为平台，采用IMAQ图像处理模块进行图像分析和处理。也可利用IMAQ Vision ActiveX控件，在通用开发环境，如Microsoft Visual Basic，Microsoft Visual C++等环境中，以可视化控件的形式提供图像处理功能[8]。

为提高软件系统开发效率，提出“主体程序模块+图像处理子模块”编程架构。主体程序模块的功能是调用图像处理子模块、参数设定、检测结果显示和急停等。“多列并行”时，只需在主体程序模块中嵌入各零件对应的图像处理子模块即可。以待测零件二为例，零件二检测的操作界面和后面板程序（方框中的程序是针对此种检测零件的子程序）分别如图9(a)和(b)所示。

(a) 零件二检测程序的操作界面

(b) 零件二检测的后面板程序

图9零件二检测程序

2.3　分拣机构运动控制

Arduino控制板通过USB接口连接上位机，在LabVIEW软件平台中使用VISA进行通讯。VISA通过调用底层代码以控制硬件的高层API，为高级仪器驱动程序和低级I/O驱动程序之间提供了一个层，实现图像处理结果传送至Arduino控制板的数字输入接口[9]。Arduino控制板接收命令后，对分拣机构的电机进行控制；电机带动挡板完成分料工作，并将执行结果返回上位机。

3　零件检测实验与结果

以前述2种零件为对象进行检测实验，受检零件一包含10个合格件、10个螺母焊反件和10个螺母焊偏件；受检零件二也包含10个合格件、10个螺母焊偏件和10个螺母位置错焊件。实验时，随机选取零件依次放入治具，经过图像采集、图像处理和自动分拣过程，受检零件一一被分拣至不同的集料箱。实物样机如图10所示，零件一和零件二操作界面的检测信息分别如图11(a)~图11(c)和图11(d)～图11(f)所示，包括不合格品指示灯、各圆孔直径、合格零件数、不合格零件数、检测零件总数和不合格率。当检测到零件不合格时指示灯亮，所有零件的检测数据均记录到数据库中。检测实验数据如表1和表2所示。

表1　零件一检测实验数据

表2　零件二检测实验数据

(a) 合格件检测界面

(b) 不合格件（螺母焊反）检测界面

(c) 不合格件（螺母焊偏）检测界面

(d) 合格件检测界面

(e) 不合格件（螺母少焊）检测界面

(f) 不合格件（螺母错焊）检测界面

图112种零件操作界面

测试结果表明：2种零件的检测正确率为100%；一个零件的检测耗时为1 s；设备可筛查出合格品和不同缺陷类型的不合格品，并将其分拣至对应的收集箱。

4　结论

本文设计了一套基于机器视觉的多品种中小零件连续自动检测系统，能高效完成两类中小零件的合格性判断以及连续自动分拣工作，之后预计可以在工厂中实际应用，检测多种零件缺陷及分拣不合格件，有效缓解中小零件制品需大量检测人工、耗时费力且难满足日益提升的品质保证要求的问题。实物样机检测冲压件的实验结果表明：该检测系统软硬件协调运行，检测正确率达到100%。自动检测系统操作简单、稳定可靠，检测成本低，可广泛适用于大多数中小零件连续自动检测。

[1] 朱铮涛,黎绍发.视觉测量技术及其在现代制造业中的应用[J].现代制造工程,2004(4):59-61.

[2] 李勇,伍先达,邢武,等.基于机器视觉的零件表面瑕疵自动分拣系统设计[J].自动化与仪器仪表,2010(5):40-41,44.

[3] 曾志新,刘旺玉,林颖.《机械制造技术基础》双语教材模式探索[J].高等工程教育研究,2007(1):127-130.

[4] 杨静.基于LabVIEW的彩色图像目标提取系统研究[D].郑州:郑州大学,2011.

[5] 郭康,黄丹平,王磊,等.基于机器视觉的曲面字符缺陷检测系统研究[J].现代制造工程,2016(12):122-127.

[6] 王中王.基于图像处理技术的工件缺陷在线检测系统的研究[D].南京:南京航空航天大学,2011.

[7] 王俊芳,王正欢,王敏.常用图像去噪滤波方法比较分析[J].现代商贸工业,2009(16):310-311.

[8] 梁硕,赵冉.基于LabVIEW编程语言的图像处理技术浅述[J].现代物业(上旬刊),2012,11(10):78-79.

[9] 沈金鑫.Arduino与LabVIEW开发实战[M].北京:机械工业出版社, 2013.

Design of Continuous Automatic Detection System for Small and Medium Parts Based on Machine Vision

Quan Yanming Li Qian Huang Fuhua

(South China University of Technology)

In order to help manufacturing enterprises to alleviate the problems of artificially detecting large number of small and medium parts which is time-consuming and difficult to meet the increasingly stringent quality assurance requirements for engineering applications, a set of multi-species small and medium parts continuous automatic detection system based on machine vision is designed. The "multi-row parallel" and "common base + fixture" program are proposed, in a vertical plane of the chain conveyor belt arranged on the multi-column fixture base, the corresponding fixture is designed according to the required geometric characteristics, multi-species parts can be continuously captured by an industrial camera in the hybrid line and then they are shunted and unloaded automatically. Detection software of surface defects, geometry and size is developed based on LabVIEW. The test results show that the detection system can coordinate the operation of hardware and software, and the correct detection rate of thirty experimental samples are 100%.

Machine Vision; Small and Medium Parts; Automatic Detection; LabVIEW; Image Processing

全燕鸣，女，1957年生，博士，教授，主要研究方向：机械制造及检测技术，机器视觉应用。

李倩，女，1994年生，硕士，主要研究方向：机器视觉应用。E-mail: qianlee4114@163.com

黄富华，男，1994年生，学士，主要研究方向：机电一体化应用。