叶佳英 赵大旭 刘怡珺 王毓综 王佩欣 寿国忠

[摘 要]为解决当前珍珠分拣自动化、智能化水平低等问题，针对珍珠形状的视觉识别，设计实现了一套基于单目动态视觉的珍珠形状分拣系统。主要研究了利用单目摄像机快速获取珍珠多表面的方法以及几何形状检测方法。根据研究内容，实现了该系统的珍珠检测平台，其主要功能为图像采集、数据/信息处理、网络通信等，为机械臂的分拣控制提供了依据。

[关键词]珍珠;单目动态视觉;形状检测;机械臂;分拣系统

[中图分类号]TP391.4 [文献标识码]B

近年来，随着工业4.0的概念提出，各地都掀起了一股“智能”热，其项目主要分为：智能工厂、智能生产和智能物流。其中，计算机视觉技术是一项重要的支撑（感知）技术，在获取外形、外观特征和位置信息等方面已广泛地应用于各种检测中。因此设计一套能较好地满足实际生产需求的珍珠分拣系统，具有重要意义。

1 系统的设计和实现

1.1 系统硬件结构设计

机器视觉珍珠分拣系统主要分为三大部分：（1）图像识别系统;（2）分拣系统（机械臂）;（3）计算机软件控制机构。

系统工作时，首先将珍珠由送料机构逐颗送至图像获取分拣平台的漏斗装置中;珍珠受到气导管中气流作用在漏斗形装置中做翻滚运动，摄像机在一个检测周期内获取足够多帧不同角度珍珠图像后停止吹气操作，珍珠被送至分拣台（平台表面覆盖黑色毛皮，防止珍珠大幅度滚动），计算机对图像处理分析之后将分类结果以及珍珠定位信息发出，分拣机构（机械臂）将珍珠放入对应位置。其中送料机构、相机和漏斗装置气流由计算机控制，机械臂气吸式抓取所用气压由机械臂控制。

1.2 软件控制流程

上述工作过程通过计算机进行控制。计算机软件发送信号控制送料;在控制吹气和停止吹气的整个过程同时控制拍摄;其后对获取的图像利用识别算法对珍珠形状进行识别，并确定珍珠最后位置;进而将结果信息发送给机械臂，直至发送成功;再由机械臂接收处理信息，成功后发送反馈信号;计算机在收到反馈信号后，在机械臂执行分拣动作的同时进行新一轮的控制。以此循环，实现连续的分拣动作。

2 图像识别

2.1 单目动态视觉图像采集

由前述内容可知，获取珍珠全表面清晰的图像是该系统能够有效工作的关键环节。单颗珍珠从形状分类的角度可大致分为圆形、椭圆、扁平和异形等，除圆形外其他形状的珍珠单从个别角度判断存在片面性，必须从尽可能多的角度才能综合地正确地判断珍珠的形状。为了解决上述问题，研究并设计了一种单目动态视觉的珍珠图像采集装置。

为动态获取清晰的珍珠图像，对此装置进行了试验研究。试验所用的装置漏斗内径为10cm，深度为6.5cm，气导管内径为0.4cm，气压为0.2Mpa，漏斗底部限制为小孔出气。为了方便珍珠的后期图像处理，将漏斗内壁涂成黑色简化图片背景。试验首先对珍珠翻滚速度进行研究，进行高速和低速等速度对比确定气压为0.2Mpa时速度适宜;再通过光亮对比试验，确定合适的光亮来获取清晰图像。

为确定所需帧数及检测周期长度，对此装置做了进一步研究。在每秒十张的基础上不断缩短获取十张图像的时间，最终确定在0.1s内获取10帧图像。试验对比了不规则珍珠和正圆珍珠的检测效果，为了便于区分不同表面，事先对珍珠表面进行了标记。对于不规则的珍珠，10帧图像中存在5帧可获取珍珠全部表面（无重复地），此5帧图像在10帧图像中分布顺序无明显规律，多于此5帧开始出现重复覆盖视角;对于做了六面不同标记的圆形珍珠，10帧中选出5帧也能获取6个标记点，其余帧数作为辅助判断。由此可见该装置能获得较完整的珍珠表面图像。

2.2 珍珠形状判断

对于珍珠形状的描述，该研究基于前人的研究基础，考虑到珍珠形状的几何特性，使用几种形状描述子组合的形状分析方法，逐步区分出每个类别的珍珠。图1所示，首先利用轮廓的凸包缺陷检测珍珠形状的光滑性，并结合余弦相似度检测轮廓的对称性，以此区分出异形;其次在排除异形后利用改进的Freeman链码检测区分出至少存在一面近似平面的扁圆形珍珠;最后在排除前两项的基础上通过检测轮廓的圆度值（这里采用轮廓最小外接圆与轮廓的面积比值Rd）来区分出圆形和椭圆形下的五个小类。

試验中，将单幅图像的检测结果与标准分类结果相比较。其中标准分类的确定过程为：通过最长最短轴、椭圆拟合两种方法求得国家标准中的直径差百分比，将其与人眼观察对比，确定后者相对准确;人眼观察难以区分形状近似的类别;由此确定对比标准以椭圆拟合直径差百分比结果为主，人眼判断为辅，差别大时参考最长最短轴直径差百分比，若三者差距都大则剔除。表中将243个表面图像剔除5张问题图，剩余238张作为七个类别的分类样本。该方法的试验将珍珠分为7个形状类别，平均错误率为5.38%，最高错误率不超过8.70%;李氏将珍珠分为5类且平均错误率为6.60%，最高错误率不超过9.90%。相较于李氏研究结果，该方法分类多了2个类别，平均错误率降低了1.22%且最高错误率也降低了1.20%。

3 人机交互系统设计/实现

基于图像识别的基础上实现珍珠检测软件平台，提供界面显示、视觉识别、通信交互和记录保存等功能。

3.1 图像采集控制模块

图像采集模块主要负责控制摄像头获取图像。通过厂商提供的驱动并利用视频流操作函数实现对摄像头的打开、关闭操作;使用Windows MFC编程建立平台界面，将摄像头采集的图像信息实时地显示在界面上;在MFC中通过消息机制设置定时器，拍摄信号到达时定时器启动，通过试验对比确定每隔0.01s截取一帧图像，0.1s后终止定时器完成一颗珍珠的拍摄。

3.2 数据/信息处理模块

数据/信息处理模块主要实现了对珍珠图像的识别，主要包括图像预处理（图像分割等）、综合检测、形状分析。在识别完珍珠的形状以后需要获得珍珠的最后位置方能控制机械臂准确地将目标珍珠抓取、分类。为了确定珍珠在三维空间的几何位置与其在图像中对应点之间的相互关系，采用张正友标定法对相机进行标定以确定目标珍珠在世界坐标系中的位置信息。此后，通过刚体变换将标定的世界坐标系转换为机械臂全局坐标系，即将机械臂与目标珍珠位置相对应。