王成军 朱梓豪 韦志文

（①安徽理工大学人工智能学院，安徽 淮南 232001；②安徽理工大学机械工程学院，安徽 淮南 232001）

视觉是物体影像刺激视网膜所产生的感觉[1]。视觉系统是人们观察和感受外界的主要系统，其中人们将近80%的信息获取要经过视觉感官[2]。机器视觉的发展是当今世界高科技领域备受关注的热点课题之一，由于机器视觉是一种非接触的机械化测量方式，机器视觉常用来代替人工视觉，相较于人工视觉识别其检测结果不仅更加客观，而且可以完成很多人眼难以胜任的工作。

铸造生产是获得机械产品毛坯的主要方法之一，在国民经济中占有重要的位置，发达国家的铸件生产不仅效率高、产品质量好而且已实现机械化、自动化、机器人操作。目前我国铸造行业的分布大体呈现出小而密的分布状态[3]，整体技术水平及装备落后，铸件产品质量低，因此铸件分拣检测尤其重要。目前我国的铸件分拣检测主要由人工完成，但随着我国机械化进程的不断加快，自动化水平的不断提高，工业系统对产品性能的要求越来越高，对生产过程中质量控制的要求也越来越高，在工业生产中使用机器化生产被越来越多的公司所接受。

本文在基于机器视觉技术分拣检测应用的大背景下，通过介绍机器视觉技术在不同分拣检测领域的应用，对未来铸件分拣检测的应用趋势进行了展望。

1 机器视觉技术

1.1 工作原理

机器视觉系统就是利用机器代替人眼做各种测量和判断。它是一种集机械工程、图像处理、控制工程、成像技术和计算机技术等各个学科为一体的一项综合技术，其发展与图像处理、光学成像、传感器及处理器等技术的快速崛起密切相关。

基于机器视觉铸件分拣检测平台就是用机器替代人工对铸件完成分拣检测，具体实现的过程是用工业相机采集被检测铸件的图像，因为要将被采集器件需要检测的具体特征都体现出来，所以图像采集的过程是机器视觉中极为重要的一个环节，采集完成后需要对图像进行图像处理，即利用专业的图像处理软件将图像的模拟信号转化为数字信号；然后再对数字信号进行运算，抽取工件的待检测特征，比如铸件表面是否有缺陷[4]、质量是否合格[5]以及铸件位姿是否易于夹取[6]等；输出结果，然后反馈到机械端对器件进行分检检测，可以将铸件从其所处位置精准且高效地分拣出来，再由分拣机器人将铸件搬运到预定位置进行分类、集中。

对于铸件来说其最主要的就是缺陷检测，机器视觉设备工作原理如图1 所示，一般来说，机器视觉硬件最主要的组成成分为图像采集和视觉处理，图像采集就是将图像经过采样、量化后转换为数字图像并输入、存储到帧存储器的过程。视觉处理就是将获取的二维图像通过视觉处理器进行分析和解释，转换为符号，让机器能够识别物体并确定其方位[7]。

图1 工作原理图

1.2 机器视觉技术的发展

机器视觉自起步发展到现在，已有几十年的发展历史。机器视觉作为一种应用系统，随着工业自动化的发展而逐渐完善。机器视觉最早始于20 世纪50 年代，其主要应用于统计模式识别，特别是集中在二维图像的分析和识别上[8]。20 世纪60 年代，Roberts L G[9]开创了三维机器视觉的研究，其研究以理解三维场景为目的，研究范围由边、角、点等的特征提取过渡到了平面、曲面等几何要素的分析最终到图像的明暗、纹理、运动以及成像几何等。20 世纪70 年代中期，由国际著名学者Horn B K P 教授[10]讲授的“机器视觉”[11]课程在美国的麻省理工学院人工智能实验室开设，该课程一经开设就吸引了许多有关视觉领域的国际知名学者参与研究，其中包括Marr D 教授[12]，其在1977 年提出的Marr 视觉理论[13]更是成了20 世纪80 年代机器视觉研究领域中的一个十分重要的理论框架。该理论系统地概括了计算机科学所取得的核心成果，极大地推动了在相关领域机器视觉技术的研究及其发展。

20 世纪80 年代以后，全球开始了机器视觉技术的研究热潮，有关机器视觉技术的研究和算法[14]水平得到了很大的提高，机器视觉技术进入了全新的发展阶段。20 世纪90 年代机器视觉技术的相关算法[15]开始成了研究热点，如Zhang Z Y[16]于20 世纪末提出了一种新的标定方法，与经典技术方法相比，所提出的技术更易于使用且灵活，该方法的提出将3D 计算机视觉从实验室环境推进到现实世界；21 世纪初期，Lowe D C[17-18]提出了一种从图像中提取独特不变特征的方法，该方法可用于在物体或场景的不同视图之间进行可靠的匹配。该方法在机器视觉、三维重建等领域得到了广泛应用；Hinton C E 等[19]在2006 年开启了以深度学习为核心的机器视觉技术的发展；2020 年Ren Z H 等[20]详述了深度学习在缺陷检测上的应用，介绍了机器视觉在缺陷检测上的可行性；Belan P A[21]等在2020 年提出了一种软硬件组成的质量检测的机器视觉系统（machine vision studio，MVS），该软件是根据提出的分割、分类和缺陷检测方法构建的，硬件由使用低成本机电材料开发的设备组成。并通过实验证明了MVS 的鲁棒性和可行性。

1.3 视觉技术和人工智能

机器视觉技术是实现人工智能的重要途径之一，在人工智能里融合机器视觉技术可以代替人类进行目视检查[22]和缺陷检测[23-24]、定位[25]和测量零件[26]，以及对产品进行识别[27-28]、分类[29]和追踪[23-31]等，如今机器视觉已经成为取代人工视觉检测的有效途径。

机器视觉技术是人工智能的核心领域之一，从某种程度上说机器视觉的飞速发展也极大推动了人工智能的发展。机器视觉技术与人工智能以及其他领域的关系如图2 所示。

图2 机器视觉技术与其他领域的关系

在人工智能时代的大背景下，机器视觉技术与很多的领域都有着极其密切联系，属于一种交叉学科。其中与人工智能的关系又最为密切，机器视觉技术的发展使我国工业生产的自动化程度和精度得到了极大的提升，同时基于机器视觉的人工智能也大规模应用于商用，例如自动驾驶[32-34]、AlphaGo[35-36]、消费电子[37]，以及食品包装[38]等。未来，机器视觉会有更广阔的发展空间，基于机器视觉技术的产品将会应用到众多领域。

2 分拣检测系统

2.1 分拣检测系统的组成

典型的视觉铸件分拣检测系统主要由光学照明、图像采集、图像处理与缺陷检测3 个模块组成，良好的照明条件是图像采集获得高质量图像的先决条件，因此一个好的照明条件对分拣检测平台尤其重要。图像采集的主要目的是对图像进行特征提取，从而对其进行分类、定位和分割等一系列操作。图像的处理与分析是机器视觉中的一项关键技术[39]。计算机通过对图像的处理和分析，可以自动理解、分析、判断图像特征，进而控制自动生产线的执行机构，使机器能够自发完成对产品的分拣检测工作。

2.2 分拣检测系统的关键技术

2.2.1 图像处理和分析技术

图像是机器视觉的信息载体。图像处理和分析是视觉检测系统中自动理解硬件获取的图像的关键技术。

图像处理有着悠久的发展历史。数字图像处理技术[40]起源于20 世纪20 年代，第一张图像成功地通过数字压缩技术从伦敦通过海底电缆传输到纽约。在早期，通过原语滤波方法可以实现简单的缺陷检测，并在早期工业生产中得到了应用[41]。随后Hara Y 等[42]人提出了一种算法，将待检测图案的局部特征与参考图案的局部特征进行比较，并应用于PCB 自动检测系统。

而对于铸件分拣检测其检测任务主要是看铸件是否存在缺陷，然后进行分拣任务，其缺陷检测任务主要有3 类：分类、定位和分割。因此需要图像处理来提取足够的特征来理解缺陷信息。

在对图像处理之前首先要对进行图像预处理，其目的是让机器更好地理解图像，为下一步的图像分析做准备。图像预处理的原理是消除不相关的信息，恢复有用的真实信息，增强图像的可检测性。图像预处理一般包括空间域方法和频域方法[43]。

空域增强方法可以表示为

式中：f(x,y) 表示增强前的图像；g(x,y)表示增强后的图像；T表示增强操作。

频域增强的原理十分简单，其应用的重点问题在于滤波半径阈值如何选取。滤波数学表达式：

式中：G(µ,ν)、H(µ,ν)、F(µ,ν)分别是g(x,y)、h(x,y)、f(x,y)的傅里叶变换。

2.2.2 图像捕捉关键技术

机器视觉系统的标定其实是获取摄像机坐标系与机器人坐标系之间转换关系的过程，相机成像的系统中，共包含4 个坐标系[44]：世界坐标系、相机坐标系、图像坐标系和像素坐标系。关系如图3 所示。

图3 坐标关系图

图像捕捉的核心是摄像头标定技术，因此在标定机器人视觉系统之前，首先要对摄像机进行标定。摄像机镜头存在的径向畸变、切心畸变和薄棱镜畸变等不同程度的畸变容易导致捕捉的图像产生几何失真问题[45]，其中径向畸变大小取决于透镜形状，切向畸变来自摄像机的组装过程，对于大多数透镜来说，径向分量是主要的是影响图像精度的主要原因。Hartley R[46]根据空间直线投影到图像上依然是直线的原理提出了一种无参数校正透镜畸变的方法，Dailey M N[47]提出了一种基于铅垂线方法的径向畸变矫正方法，通过比较了不同的圆拟合方法如何有助于准确的失真参数估计的统计分析对各种各样具有挑战性的真实图像提供定性结果。Alvarez L[48-49]提出了一种基于图像中直线校正的透镜畸变参数估计的代数方法。通过在多个变量中最小化一个四次多项式，得到了透镜畸变参数。

标定以后就可以进行目标识别与定位，目标识别与定位是一种常见的机器视觉技术，目标识别和定位的精度直接决定分拣系统的效率与精度。吕继东等[50]采用经过加速优化改进的去均值归-化积相关模板匹配算法来跟踪识别图像的目标果实，将目标识别时间从1.15 s 减少到0.74 s。Tan S H 和Lam C K 等[51]使用Canny 边缘检测方法对苹果、柠檬和芒果3 种水果的450 张图像进行边缘特征提取，然后采用向量机分类器根据提取的特征向量对水果进行分类识别，该系统使用SVM 模型对水果的识别精度达到86%准确率，具有不错的分类效果。Liu Q 等[52]将SURF 算子的准确性和BRISK 算子的快速性相结合，得到一种快速准确的匹配方法。利用SURF-BRISK 算法对目标进行图像特征提取的初始匹配，然后对特征点进行特征匹配的相似度测量。消除不匹配的点对，以实现目标图像的识别。

3 应用现状

机器视觉作为一种非接触、无损的检测手段可以代替人们完成分拣工作，如图4 所示为基于机器视觉的分拣平台，其可以减少人力要求，提高检测效率和自动化程度，同时相较于人眼机器视觉检测技术具有更高的精度识别特性，因此机器视觉技术在缺陷检测上也得到了很好的应用，如图5 所示为基于机器视觉的缺陷检测系统，相较于人眼其检测结果更加客观，不会因视觉疲劳产生误差，同时其识别精度得到提高，解决了微小缺陷的识别问题。将工业生产与机器视觉结合可以很容易地实现信息集成、自动化、智能化和精确控制，机器视觉作为一种测量和判断技术在分拣检测领域发挥着非常重要的作用。

图4 分拣平台

3.1 机器视觉在缺陷检测上的应用

机器视觉技术的发展提高了缺陷检测的效率、质量和可靠性。近年来由于基于机器视觉技术的发展，有关工业缺陷检测技术的视觉检测算法和技术也得到了不断地改善和发展。其中Liu Z C 等[53]提出的基于机器视觉的PCB 缺陷在线检测关键技术，他们通过数学形态学方法获得的参考图像用作系统的自检模板。然后，引入图像像差检测算法，对PCB 缺陷图像阈值进行分割，去除多余点，标记PCB 图像缺陷识别结果，改进视觉检测算法，识别精度和检测时间都有了明显提高。Li D 等[54]提出的基于目标检测算法的木材缺陷检测方法，该方法通过计算机视觉对YOLOX 目标检测算法的特征融合模块进行改进，增加高效通道注意（ECA）机制，自适应空间特征融合机制（ASFF），并改进Focal loss 和Efficient Intersection over Union（EIoU）损失等置信损失和定位损失函数，提高了对橡胶木材的缺陷识别精度，与其他目标检测算法相比具有显著优势。Lin J 等[55]针对X 射线检测中铸件缺陷的误检和漏检问题提出了一种基于视觉注意机制和特征图深度学习的鲁棒检测方法。通过该方法铸件缺陷检测的误检率和漏检率都得到了明显改善。Zhou P等[56]通过分析BR 表面缺陷特点，设计了高效的全图像获取方案，开发出了BRs 全表面检测方法。通过该方法进一步降低了良品误检率和不良品漏检率。

3.2 机器视觉在分拣机器人上的应用

机器视觉在工件分拣机器人早已得到应用，研究机构和企业推出了具有自主知识产权的工件分拣系统。美国普渡大学的Rahardja K[57]在分拣机器人上合作开发出了一种视觉算法，该算法为机器人分拣操作提供了足够的信息。日本FANUC 公司综合了经典和DRC 机器人位置控制系统，开发出一种基于机器视觉的M-430iA 工业机器人[58]，该机器人最大负载为2 kg，每分钟能够完成120 次的分拣动作，由于其负载较小，主要应用于轻型物体的分拣工作。日本Epson 公司研发了一款基于机器视觉的工件分拣系统[59]，该分拣系统可对工件形状及其位姿进行识别，然后由机器人对其进行分拣工作。我国深圳众为兴公司生产的4轴SCARA 分拣机器人[60]，其最大负载5 kg，在视觉系统的引导下，能够分拣一些形状规则的几何工件。

目前随着机器视觉技术的发展，其技术逐渐成熟。Ning T 等[61]开发了一种小型伸缩式分拣机器人，该机器人在机械臂中嵌入了RealSense 深度视觉伺服，大大提高了水果目标识别、检测等方面的协调对称性。Sadeghian R 等[62]设计了一种三峰自适应末端执行器机械手，通过与机器视觉技术的结合，该机械手可针对不同物体的尺寸和孔隙率实行自适应夹取。Liu X 等[63]基于四自由度DOBOT 机器人构建了具有视觉感知的分拣机器人，其提出的分拣机器人多目标视觉识别定位方法可以对形状复杂、位置随机的多物体进行识别定位使分拣机器人能够自主进行抓取和分拣任务。

4 结语

铸件分拣检测理论方面涉及机械学、人工智能、控制科学与工程、铸造成形和图像处理等诸多领域，随着科技水平的不断提高且对各个学科的研究不断深入，机器视觉技术铸件分拣检测领域具有很大的发展潜力。本文从机器视觉的角度对分拣系统的组成和关键技术进行了介绍，梳理了机器视觉在缺陷检测以及分拣系统的应用现状，剖析了机器视觉未来在铸件分拣检测的发展方向。

由于机器视觉检测在精度上具有的明显优势，机器视觉在缺陷检测上也展现出了良好的应用前景。在未来基于机器视觉技术的铸件分拣检测平台可识别分拣具有微小缺陷的铸件，甚至可识别铸件内部是否存在缺陷，极大地提高了筛选过后的产品质量。