邱津芳，林宇航，阮志鸿，李红云

（ 泉州职业技术大学 国科数字产业学院，福建 泉州 362268 ）

0 引言

永春芦柑是福建省永春县的特产，也是泉州市的一大经济支柱。芦柑品质与分级的重要依据是果径大小、表面色泽与表皮是否损伤等。当前大多果农和加工企业对芦柑的分级检测依靠人工操作完成，效率低、成本高，迫切需要符合需求的智能分拣技术与之匹配。本文针对永春芦柑的形状、大小、沟纹等技术指标，提出一种智能芦柑分拣机的设计方案，利用机器视觉和机器学习技术，达到准确高效的分级目的[1]。

1 现状

水果分级技术从最初的人工分级到采用传统机械和各种传感器，再到柔性非接触式分级，凸显出技术进步带来的便捷和高效[2]。目前，基于OpenCV机器视觉的水果分级检测技术呈现出蓬勃发展之势[3]。王旭基于机器视觉研究了柑橘的分级技术[4]；杨涛使用K-means聚类分割算法分割猕猴桃表面缺陷和通过颜色对比来提取猕猴桃的表面形状特征，实现猕猴桃的无损检测分级[5]；孙海霞利用机器视觉和光谱技术对水果品质分级方法进行了研究[6]。

1 硬件设计

机器视觉技术在农业自动化领域中的应用得到了广泛研究[7]，本文采用基于OpenCV机器视觉与机械臂夹取装置实现芦柑检测与分拣等功能，以树莓派为核心控制器，通过摄像头拍摄图像并反馈给树莓派；基于OpenCV机器视觉技术对芦柑表面图像进行检测，树莓派根据反馈结果确定机械手抓取和投放位置；将所得信息反馈至显示器中，系统原理如图1所示。

图1 系统原理图

1.1 机械臂

设计采用六自由度的机械臂，主要包括大臂、小臂、手爪，利用SoildWorks对机械臂进行建模结构如图2所示。

图2 机械臂结构图

1.2 舵机

本设计选用MG996R舵机，具有较快的响应速度，且价格经济。齿轮材质为金属，扭矩1.27 N·m，重量55 g，工作电压4.8 V～6 V，驱动电流800 mA，舵机频率50 Hz，抓取重量100 g；大臂与小臂采用质量较轻的铝合金板，连接处采用法兰杆进行连接，MG996R舵机满足相应要求。

舵机控制需要约20 ms时基脉冲，该脉冲高电平部分为0.5 ms∽2.5 ms角度控制脉冲部分，总间隔为2 ms。以180 °角度伺服为例，对应控制关系如图3所示。

图3 控制关系对应图

1.3 电源模块

由于使用了6个舵机，树莓派仅靠Micro USB接口供电显然不足，故在PWM控制模块单独提供6 V/10 A电源进行供电，开关电源如图4所示。

图4 开关电源

1.4 表面图像采集

为确保不遗漏芦柑表面的每一处图像，设计了能够采集芦柑全表面图像的结构装置，结构示意图如图5所示。

图5 结构示意图

结构中，外壳部分由铝合金型材组成，外表面采用黑色避光材质，确保拍摄环境的统一性，在摄像头中自带LED光源确保成像清晰可见。

1.5 硬件制作

铝型材密度小、质量轻、可塑性强、易调节，故使用铝型材作为产品外部框架，由其搭建一个长方体的框架结构，使用舵机、铝合金板、法兰杆组装机械臂，最后将树莓派、电源、摄像头、机械臂、显示器安装至合理位置，实物如图6所示。

图6 实物图

2 软件设计

使用python语言进行程序编写、OpenCV三方库进行图像处理以及识别、Numpy进行数据科学计算、PyQt5绘制GUI界面，使用高清摄像头获取两张当前芦柑图像，使用OpenCV识别芦柑面积以及表面瑕疵情况，推断瑕疵比率以实现对永春芦柑品质的分级（分级：依靠隶属函数和权重集，采用加权平均算子计算综合分析结果，以最大隶属度为原则确定芦柑的等级，等级划分为A级芦柑、 B级芦柑、C级芦柑）。程序运行流程如图7所示，软件界面如图8所示。

图7 程序运行流程图

图8 软件界面图

2.1 图像轮廓面积提取

加载彩色图片进行色彩空间转化后，对低于lower_red和高于upper_red值的区域，图像值为0；于其之间的值为255，完成图像的二值化。将处理完成后的二值图进行物体轮廓识别，对原始图像进行绘制边框，使用格林公式计算面积，图像轮廓面积分析如图9所示。

图9 图像轮廓面积分析图

设闭区域D由分段光滑的曲线L围成，函数P(x，y)及Q(x，y)在D上具有一阶连续偏导数，则有：

其中，L是D的取正向的边界曲线。

2.2 瑕疵检测算法

通过遍历循环原始图像中判定轮廓的区域内的像素点，寻找相较于周边色块中的异常色块区域并使用求最小包围圆的算法对该区域绘制包围圆，瑕疵点寻找结果如图10所示。

图10 瑕疵点寻找结果图

2.3 机械臂算法

已知末端位置的坐标情况下，求解机械臂中每个舵机的运动角度使其达到目标位置。将机械臂的结构在二维平面展开，如图11所示。

图11 机械臂二维平面展开图

其中，各个关节的角度是未知量。P(x，y，a)为末端执行器的位置表示，x和y为OXY平面的坐标，a为末端执行器朝向。运动学逆解算法的核心根据已知的 L0、L1，L2求解出各个角度。

2.4 图像坐标获取

当摄像头发现画面中的被检测的物体时，使用openCV三方库检查并返回一个由四个数字组成的数组，四个数字代表了物体在图片位置的相对距离，数组顺序

[top,right,left,buttom]

top:物体最上部距离图片上边框的距离，单位：px(像素)

right:物体最右部距离图片右边框的距离，单位：px(像素)

left和buttom同理

得到芦柑在机械臂坐标系下的坐标，进行运动学逆解的求解。控制PWM输出机械臂两端舵机能使机械臂末端达到相应位置，从而实现芦柑的分拣。

3 结果及分析

为了提高算法的普适性，在确保同时拥有A级、B级、C级果的情况下挑选了400个芦柑作为实验样本，在四核64位的ARM Cortex-A72架构CPU，Raspberry Pi OS系统和Python3.7的编译环境基础上，对本文算法进行验证。为了测试算法的有效性，本文与传统的手工分拣依照吻合度的情况进行分析，实验结果如表1所示。

表1 实验结果

定义吻合度（C）计算公式为：

通过表 1 中数据对比可以看出，人工选择结果与机器识别结果的吻合度依次为：A级果的吻合度为 93.33 %；B级果的吻合度为 94.33%；C级果的吻合度为 90.26 %。3种芦柑等级的吻合度平均值达92.64 %。

实验结果表明：基于OpenCV的芦柑分级技术的准确度已经接近人工挑选的水平。

为验证机器识别分级系统的效率优势，将实验时间设定为1 h，与人工分级进行对比（挑选 5 个果农进行人工分级）。

实验结果表明，机器分级数量约为人工分级的 1.5 倍，即机器分级速度约为人工分级的7.5 倍，效率得到大幅提升。

4 结语

针对传统芦柑人工分拣方法效率低的问题，提出了一种智能芦柑分拣机的设计方案。通过铝合金型材与黑色避光材质搭配下的框架，完成了芦柑的表面图像采集；其次，通过OpenCV，完成了芦柑表面瑕疵的检测，最后，运用运动学逆解算法，完成了机械臂对芦柑的抓取与投放。通过与实际的人工分拣进行对比实验，证明本文提出的设计在分拣速率方面优于人工分拣方法。