陈新华 唐顺海 刘宇哲 李志娟 王宇红

摘  要：为实现机械零部件装配过程中漏装或错装等装配质量问题的自动检测，对机器视觉的技术进行了研究，提出一种崭新的基于机器视觉的图像一致性比对的通用检测算法。采用模板匹配方法对实时图像进行校准，并与建立好的标准模板图像进行图像差分，通过Blob分析进行图像差异的量化与判断。最后进行了算法软件开发及实验验证，结果表明检测效果良好并且具有一定通用性。

关键词：机器视觉;模板匹配;图像差分;一致性比对

中图分类号：TP391.4;TP183      文献标识码：A 文章编号：2096-4706（2021）05-0121-04

Research on Image Consistency Comparison Algorithm Based on Machine Vision

CHEN Xinhua，TANG Shunhai，LIU Yuzhe，LI Zhijuan，WANG Yuhong

（Intelligent Testing Equipment Branch of Hunan Aerospace Tianlu New Material Testing Co.，Ltd.，Changsha  410221，China）

Abstract：In order to realize the automatic inspection of assembly quality problems such as missing or wrong assembly during the assembly process of mechanical components and parts，the technology of machine vision is studied. A completely new universal detection algorithm for image consistency comparison based on machine vision is proposed. The template matching method is used to calibrate the real-time image and the image difference is performed with the established standard template image. The Blob analysis is used to quantify and judge the image difference. Finally，the algorithm software development and experimental verification are carried out，and the results show that the detection effect is good and has a certain universality.

Keywords：machine vision;template matching;image difference;consistency comparison

0  引  言

某机械零部件生产工艺复杂，大部分工序依赖手工操作，由于装配过程中的零件种类多样，品种复杂，难免出现漏装或错装的现象，因此装配过程中的防错检测非常重要。傳统人工目检的方式容易受到检测人员的主观因素影响，无法保证结果的可靠性和稳定性，进而影响产品的装配质量[1]。机器视觉作为一门迅速发展的人工智能技术，目前已经广泛应用于工业检测中。通过视觉检测代替人工检测，符合智能化、自动化的发展趋势[2-4]。

本文针对机械零部件的装配质量问题，通过对机器视觉技术的研究，提出一种基于机器视觉的图像一致性比对算法，实现机械产品装配过程中关键部件的漏装或错装检测，并且该方法具有一定的通用性。

1  算法原理

本文算法分为训练模块和检测模块。训练指的是对标准图像进行训练建模的过程，它通过采集到的良品图像进行模板图像训练，建立标准的轮廓模型。检测模块是将实时图像与模板图像进行一致性对比，该模块首先通过模板匹配算法进行产品定位，之后采用定位的结果进行图像配准，将实时检测图像与模板图像对齐，然后将检测图像与模板图像进行图像差分处理得到差异图像，最后再对差异图像进行Blob分析，最终得到检测的结果。算法流程图如图1所示。

2  算法实现过程

2.1  模板训练与配准

图像一致性比对的第一步就是需要对产品图像进行图像配准，也就是说将实时产品图像与标准模板图像尽可能地重合。图像配准大致上有两种方式，第一种是通过提取图像中的某些特征点，计算两幅图像对应特征点的相关性来进行图像匹配。另一种方法是通过计算图像灰度分布或图像边缘形状的方式获取模板，在图像中查找相似的模板从而定位图像匹配位置[5]。

模板匹配的思路是将目标图像与标准模板进行比较，在目标图像上找到相对应的模板区域[6]。具体的方法是在待匹配图像上对图版图像进行搜寻，每进行一次匹配计算就会得出一个相似性度量值，在所有搜寻的结果中，计算得到相似性度量值最大的位置，也就是最优的匹配位置。

一般来讲，基于特征提取的图像配准方法，计算量小，效率较高，但是该方法也损失了图像信息，同时图像分割和特征提取会产生一定的误差，使配准结果不准确。

本文采用基于轮廓的形状模板匹配方法进行图像配准，这种方法能够适应光照、遮挡、变化的尺寸、位置和旋转，有甚者是模板部分的相对移动。而且匹配速度快，位置精度高。下文具体论述模型创建步骤。

2.1.1  寻找图像梯度和方向

在模板图像上使用Sobel算子计算得到X（Gx）和Y（Gy）梯度方向，利用以下公式可以计算边缘幅度和方向：

2.1.2  非极大值抑制

在找到边缘方向后，我们将做一个非极大值抑制操作。在求出的幅值图像中，可能存在多个较大幅值临近的情况，但真正的边缘点只有一个，针对这样的情况我们进行非极大值抑制，找出局部最大值，从而可以剔除大部分非边缘点。非极大抑制沿边缘方向跟踪左右像素，如果当前像素大小小于左右像素大小，则抑制当前像素大小。

2.1.3  双阈值检测

使用滞后阈值需要两个阈值：高阈值和低阈值。我们用一个高阈值来标记那些我们可以确定是真实的边缘。如果某一像素位置的幅值小于低阈值，则该像素被排除。如果某一像素位置的幅值在两个阈值之间，该像素仅仅在连接到一个高于高阈值的像素时被保留。

2.1.4  创建模型

提取边缘后，将选定边缘的X、Y导数与坐标信息保存为模板模型。图2为标准模板图像，图3为模板图像提取的轮廓模型。

模板匹配过程为：

匹配的任务是利用模板模型在搜索图像中找到目标。在模板图像T中包含一系列的点集 ，以及每个点相关联的方向向量 ，其中i=1，2，…，n。同样的在检测图像S中，我们也可以计算出 。在匹配过程中，需要使用相似性度量将模板模型与所有位置的搜索图像进行比较。相似度度量的思想是在模型数据集中搜索图像的所有点，计算模板图像梯度向量的所有归一化点积之和，这将在搜索图像的每个点上得到一个分数Score，公式为：

如果模板模型和搜索图像完全匹配，则该函数将返回1，如果搜索图像中不存在该对象，得分将为0。相关性系数的值越小，表明物体间越不相似，差异越大;反之则相似度越大差异越小。Score最大值所对应的坐标的位置就是模板图像在待匹配图像中的最优匹配位置。同时在匹配结果中，我们还可以得到检测图像相对模板的角度、位置以及缩放比例等，进而计算出检测图像与模板图像之间的仿射矩阵。配准的过程也就是将检测图像通过得到的仿射矩阵进行仿射变换从而与模板图像重合。

2.2  图像差分

图像差分在检测图像灰度变化等方面具有较大的速度优势，它的主要思想就是将同一个目标在不同的时间下采集的图像进行图像相减运算，其原理就是把待检测的图像与模板图像对应坐标的像素灰度值相减，这就是差分运算，差分的结果就是两幅图像的差异。差分算法一般用于视频监控、运动目标跟踪以及目标识别等领域[7]。

模板匹配在检测图像中找到最佳匹配位置再经过配准后，检测图像中的产品与标准图像中的产品具有相同的位姿，用图像差分的方法将两幅图像做差分处理，通过差分图像就可以获得模板图像与检测图像之间的差异信息。公式为：

D（x，y）=|T（m，n）-G（m′，n′）|

其中，T（m，n）为模板图像，G（m′，n′）为检测图像，D（x，y）为差值图像。当D（x，y）越小，说明两幅图像越一致;当D（x，y）越大，说明两幅图像差别越大。如图4所示为待检测图像，图5为检测图像经过匹配校准后的图像，图6为校准后图像与标准模板图像进行差分后的差分图像。

2.3  Blob分析

通过图像差分法得到检测图像与模板图像的差异图像后，需要对差异图像进行图像分析来进一步量化和判别。Blob分析其实就是将图像进行二值化，分割得到前景和背景，然后进行连通域检测，从而得到Blob块的过程。提取出目标区域后就可以对目标区域进行形态参数特征计算和统计。

二值化工具實质是对图像灰度进行分割，它的基本原理是以某个阈值为分界，灰度值小于阈值的像素设置成0，反之则设置成255。阈值分割主要包括手动阈值和自动阈值两种方法。手动阈值顾名思义就是人为设置固定的阈值，自动阈值就是自动计算阈值进行分割。自动阈值法常用的是迭代法和大津法[8，9]。迭代法基于逼近的思想，首先根据图像的灰度分布情况，选取一个近似阈值作为初始阈值，然后通过分割图像和修改阈值的迭代过程获得认可的最佳阈值。大津法使用了最大类间方差法，是按图像的灰度特性，将图像分成前景和背景两部分，前景和背景之间的类间方差越大，说明构成图像的两部分的差别越大。当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。如图7所示为对差分图像进行二值化处理后的图像。

在二值化后需要对图像进行形态学处理，该处理的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。常用的形态学图像处理的基本运算包括膨胀、腐蚀、开操作和闭操作等[10]。为消除差分二值化后图像中孤立的小点、线条，采用形态学开运算进行处理。经过二值化和形态学操作后，图像中的区域基本上就是实时图像与模板图像的真实差异部分，再对目标区域就行特征提取与分析后就可以判定检测结果。如图8所示为二值化图像经过形态学处理后的图像。

3  实验与结果分析

某机械零部件在装配过程中大量用到螺钉，通常由操作人员使用电动螺丝刀完成装配。由于螺钉的外形尺寸较小，同时人工装配多个螺钉时容易发生漏装的情况。部件产品装配线及其零部件的种类繁多，螺钉检测场景具有一定的代表性。搭建图像采集系统并编写算法软件，对部件产品螺钉漏装问题进行检测。

软件操作流程为首先采集标准图像建立模板，建立模板的方式可以选择全图或者框选局部，检测区域也可以设置为全局或局部检测。设置好模板和检测区域范围后执行模板训练，再设置合适的检测参数，最终对测试图像执行检测操作。如图9和图10所示为软件界面。

通过采集不同姿态下的产品图像进行实时检测，良品均检测为合格，漏装产品和错装不良产品检测结果判定为不良并且用红色框定位了缺陷的位置。如图9所示为良品检测，检测结果为OK，如图10所示为不良品检测结为NG。从实验测试表明该算法能有效检测得到不同姿态位置下机械部件产品螺钉的缺失。

4  结  论

本文提出的基于机器视觉的图像一致性比对算法，首先采用模板匹配算法进行图像配准，再将校准之后的图像与模板图像进行差分计算出差分图像，再进一步进行Blob分析从而检测出模板图像与标准图像的差异。设计和开发相应的检测软件并做了试验验证，实验结果表明该算法可以有效地检测出机械零部件产品装配过程中螺钉漏装，能够满足工业检测的要求。该算法具有一定的通用性，可以适当应用到其他的零件漏装或错装检测场景当中。

参考文献：

[1] 席斌，王振雷，钱锋.机器视觉工业检测系统的应用与发展 [J].控制工程，2006（S1）：220-222.

[2] 陈洋，张林.工业视觉检测系统及应用 [J].科技展望，2015，25（16）：119+121.

[3] LAHAJNAR F，BERNARD R. Machine vision system for inspecting electric plates [J].Computer in Industry，2002，47（1）：113-121.

[4] 赵大兴，孙国栋.可重构视觉检测理论与技术 [M].北京：科学出版社，2014.

[5] HU T，GUO B P，GUO X，et al.Contour feature based on image registration [J].Opto-Electronic Engineering，2009，36（11）：118-122+127.

[6] SALVE S G，JONDHALE K C. Shape Matching and Object Recognition Using Shape Contexts [C]//2010 3rd International Conference on Computer Science and Information Technology.Chengdu：IEEE，2010：471-474.

[7] 曹丹华，邹伟，吴裕斌.基于背景图像差分的运动人体检测 [J].光电工程，2007（6）：107-111.

[8] 韩思奇，王蕾.图像分割的阈值法综述 [J].系统工程与电子技术，2002（6）：91-94+102.

[9] 鲁斯.数字图像处理 [M].余翔宇，译.北京：电子工业出版社，2014.

[10] 阮秋琦.数字图像处理学 [M].北京：电子工业出版社，2007.

作者简介：陈新华（1990—），男，汉族，湖南娄底人，算法工程师，硕士，研究方向：机器视觉、图像处理;唐顺海（1979—），男，汉族，湖南永州人，软件工程师，本科，研究方向：系统集成与信息系统管理;刘宇哲（1987—），男，汉族，湖南湘潭人，材料工程师，博士，研究方向：传感器与材料检测;李志娟（1970—），女，汉族，天津人，高级工程师，博士，研究方向：先进光源和X射线;王宇红（1983—）女，漢族，湖南益阳人，中级工程师，硕士，研究方向：工业CT图像处理与缺陷识别