异常水培生菜自动分选系统设计与试验

2022-08-08武振超杨睿哲王文奇傅隆生崔永杰

农业机械学报 2022年7期

武振超杨睿哲王文奇傅隆生,2 崔永杰张昭

(1.西北农林科技大学机械与电子工程学院，陕西杨凌 712100； 2.农业农村部农业物联网重点实验室，陕西杨凌 712100；3.北达科他州立大学农业与生物工程系，法戈 58102)

0 引言

水培生菜，菊科莴苣属，其市场需求量大且生长周期短(仅为45 d左右)，具有较高的经济价值。鉴于此，水培生菜成为当下植物工厂中栽培最为广泛的蔬菜之一[1-4]。随着水培生菜种植规模的扩大，对水培生菜的收获自动化水平也提出了新的要求，马义东等[5]设计了一种水培生菜自动包装装置，该装置可完成水培生菜自动包装提高包装效率，但未对包装前含有异常叶片的水培生菜进行分选。

水培生菜在成熟后会出现异常叶片(下文中将该种生菜统称为异常水培生菜)，以黄叶、枯萎叶和腐烂叶为主，异常叶片会缩短生菜的货架期，同时也对生菜的商品价值产生较大影响。特别当生菜叶片发生腐烂后，在滋生细菌的同时，生菜中的亚硝酸盐含量会急剧上升，食用这种带有腐烂叶片的生菜后会对人体健康造成威胁[6-8]。因此，在对水培生菜进行包装前，及时分选出含有异常叶片的水培生菜是十分必要的。目前，生菜的分选基本依靠人工，费时费力、效率低下，也增加了人力成本，不利于植物工厂的高质量发展。因此，研究可实现异常水培生菜分选的装置具有重要意义。

针对不同农产品分选装置，相关研究[9-12]多集中于特征检测、末端执行器及分选方式等方面。通过深度学习方法实现农产品特征检测，并结合农产品表型特征设计末端执行器及分选方式，可用于农产品分选装置设计研究。

本文在本课题组研发的水培生菜整株低损收获装置[3]基础上，基于深度学习方法，以水培生菜所含异常叶片类型为分选依据，结合水培生菜表型特征及采收模式，进行异常水培生菜自动分选系统设计，该系统包含三摄像头图像信息感知、异常水培生菜图像信息处理及托架式分选动作执行3个子系统。通过设计二次正交旋转组合试验对分选动作执行系统中各因素进行优化，最后通过性能试验验证异常水培生菜自动分选系统工作性能。

1 水培生菜特征分类

根据前期调研发现，植物工厂内水培生菜异常叶片主要为黄叶、枯萎叶和腐烂叶，且健康正常的水培生菜叶片与异常叶片之间存在如下差异：首先，水培生菜健康叶片与异常叶片在外观颜色上存在一定差异。健康水培生菜叶片呈绿色，表面光滑，如图1a所示。黄叶(Yellow leaves)、枯萎叶(Withered leaves)和腐烂叶(Decay leaves)的颜色分别变为黄色、棕色和黑色，如图1b所示。其次，不同状态的水培生菜叶片纹理也存在差异，黄叶的质地没有明显变化；枯萎叶失水皱缩，但基本保持叶片外形；腐烂叶质地变软并发生腐坏，叶片纹理消失，外形无固定形状。异常叶片与健康叶片在颜色和质地上的差异使得利用机器视觉信息感知技术对含异常叶片水培生菜进行分类成为可能。

图1 水培生菜健康叶片与异常叶片示例Fig.1 Examples of healthy and abnormal leaves of hydroponic lettuce1.枯萎叶 2.黄叶 3.腐烂叶

2 分选系统设计

2.1 总体结构

异常水培生菜自动分选系统主要由信息感知、信息处理以及分选动作执行3个子系统组成。该分选系统用于剔除水培生菜整株低损收获装置[3]所采收的异常水培生菜，其与收获装置间位置关系见图2a。带有水培生菜的定植板自水培槽中取出，定植板经传送链送至采收运输机构处，通过采收运输机构对菜叶的低损聚拢、割刀对生菜茎部的精准切割，实现单株水培生菜的整株低损收获，并运输至分选系统处。图2b为系统整体结构，其中，部件10～12构成信息感知子系统主体；基于DeepLabV3+深度学习网络构成信息处理子系统主体；部件13～22构成分选动作执行子系统。

图2 异常水培生菜自动分选系统Fig.2 Automatic sorting system for abnormal hydroponic lettuce1.传送链 2.定植板 3.水培生菜整株低损收获装置 4.切割气缸 5.割刀 6.输送气缸 7.采收运输机构 8.异常水培生菜自动分选系统 9.框架 10.便携式计算机 11.计算机放置台 12.摄像头 13.干黄叶处理包装区 14.托架式末端执行器 15.托举气缸 16.推进气缸 17.步进电机 18.控制部件 19.电磁阀 20.输气软管 21.气泵 22.丢弃区 23.待分选生菜 24.单片机 25.部件外壳 26.继电器模块

2.2 信息感知子系统

考虑到水培生菜异常叶片多数出现在生菜底部，采用从下向上拍摄方式进行图像采集。拍摄初期将摄像头布置在水培生菜的正下方，采用这种方式进行拍摄时可利用最少的相机采集到生菜底部全貌，方便后续图像处理。但在拍摄过程中发现，水培生菜上掉落的杂物会污染镜头，影响摄像头成像质量(图3)，对拍摄工作造成影响。

图3 受污染摄像头成像Fig.3 Contaminated camera imaging

经过分析调整确定采用3个微软摄像头(LifeCam Studio，梦剧场精英版)进行图像采集。摄像头布置方式为：在水培生菜底部26 cm的平面内，以生菜根部投影为圆心，半径15 cm，间隔120°进行摄像头布置，同时设置摄像头仰角为60°，此时摄像头距离生菜30 cm。该种状态下摄像头既不会受水培生菜上掉落的杂物影响，又保证能对整个生菜底部完全成像，同时也增加水培生菜数据集的多样性，见图4。

图4 图像采集方法Fig.4 Image acquisition method

2.3 信息处理子系统

2.3.1信息处理网络结构

本文基于语义分割DeepLabV3+深度学习网络实现异常叶片检测。DeepLabV3+网络可实现基于像素的分割，网络将对输入的图像进行像素遍历，对图像中的每个像素点进行内容判断并划分类别[13-14]。相对于目标检测和分类，语义分割是一项计算量更大也更精细的工作。由于图像中每个像素都被进行了分类，图像中目标的各个部位是被精准分类的，相对于目标检测和识别其边缘也更清晰。另外，DeepLabV3+是一种端到端的图像分割方法，由网络架构和后端网络2部分组成，其引入了编码器-解码器(Encoder-Decoder)结构，网络将DeepLabV3作为编码器，以高效的深度可分离卷积网络作为解码器，更大程度地提高模型的效率[15]。同时该网络将空洞空间卷积池化金字塔(Atrous spatial pyramid pooling，ASPP)方法与Encoder-Decoder结构进行融合，充分挖掘上下文的多尺度信息的同时重构空间信息，更好地捕捉物体的边界，DeepLabV3+网络结构如图5所示。其中，水培生菜图像被分割为背景(黑色像素点)、生菜(红色像素点)、黄叶(绿色像素点)、枯萎叶(黄色像素点)和腐烂叶(蓝色像素点)，见图6。

图5 基于DeepLabV3+水培生菜图像分割网络Fig.5 Image segmentation network of hydroponic lettuce based on DeepLabV3+

图6 基于DeepLabV3+水培生菜图像分割效果Fig.6 Image segmentation results of hydroponic lettuce based on DeepLabV3+

2.3.2信息处理子系统配置及性能

本研究选用艮泰深度学习计算机进行模型训练，采用ubuntu 16.04系统，处理器为6核Intel Xeon E5-1650 v4，32 GB内存，主频3.6 GHz，NVIDIA TITAN XP显卡，12 GB显存。使用Pycharm开发环境，算法实现语言为Python 3.7，特征提取网络选用ResNet-101模型。

在进行图像样本采集时，为保证所训练图像分割模型在实际工况光照条件下的性能及鲁棒性，样本采集期间全程处于室内，室内照明灯光为自房间顶部向下直射，无另外人为补光，同时，为保证图像采集时光照随机性，在全天不同时刻进行数据采集。样本采集后，以水培生菜叶片的颜色和纹理作为学习特征进行标注，将原始图像缩放至378像素×504像素后，分别将黄叶、枯萎叶和腐烂叶标注为“yellow”、“withered”和“decay”，用于网络训练的初始图像为500幅，经水平镜像、竖直镜像、顺时针旋转90°、顺时针旋转180°和顺时针旋转270° 5种方式扩增后图像为3 000幅，随后按比例4∶1随机划分为训练集和测试集[16-19]。

相较传统图像处理方法，深度学习方法具备更强的鲁棒性以及更强大的物体识别性能[20]，本文通过像素准确率(Pixel accuracy，PA)、平均联合交并比(mean intersection over union，mIoU)和单幅图像分割时间来评估模型的性能[21-24]：经测试，模型识别像素准确率达99.24%，平均联合交并比达83.26%，单幅图像处理时间(193.4±4.0) ms，网络模型性能良好。

2.4 分选动作执行子系统

2.4.1末端执行器

水培生菜的外部轮廓特点是末端执行器设计的重要依据。水培生菜采收后采用支撑杆架空的状态向包装装置输送，末端执行器的作业空间被压缩到较小范围，这对分选系统的末端执行器提出了较高要求。水培生菜处于支撑杆上时，受重力作用，水培生菜整体下沉，外围叶片收拢，经预试验测定得外围叶片轮廓与水平间夹角θ约为30°，见图7。

图7 输送中水培生菜形态Fig.7 Shape of hydroponic lettuce in transportation

水培生菜末端执行器设计对异常水培生菜分选效率具有直接影响。根据水培生菜外部轮廓特点，提出托架式末端执行器设计方案，见图8。该末端执行器针对生菜叶片聚拢呈一定角度的特性进行设计，对于横、纵向支撑杆，均采用分段式设计，且各段连接处均为圆滑过渡。为保证异常水培生菜自动分选系统工作时的稳定性，对于横、纵向支撑杆，将两者自下向上的第2段支撑杆作为水培生菜主要接触部分，设定第2段支撑杆与水平夹角为αi(i=1, 2)，其中，α1为纵向支撑杆角度，α2为横向支撑杆角度(考虑到外围叶片轮廓与水平面间夹角θ约为30°，图中2个角度均暂取为150°)。

图8 托架式末端执行器Fig.8 End effector inbracket type1.纵向支撑杆 2.横向支撑杆 3.安装底座

2.4.2控制模块

异常水培生菜自动分选系统的控制模块是保证异常水培生菜分选实现自动化的首要条件。控制模块主要包括步进电机(86HS85型)、步进电机驱动器(SW2872型)、继电器(通灵JQC-3FF-S-Z型)、电磁阀(正泰N4V210-08型)、单片机(Arduino UNO)等，用于控制水培生菜的检测及分选。该控制模块可实现单片机与计算机的串口通信，完成图像采集和图像分割并与分选动作执行子系统协同工作，控制步进电机和气缸的配合动作，达到分选异常水培生菜的目的。控制模块工作原理见图9。

图9 异常水培生菜自动分选系统控制模块工作原理图Fig.9 Working principle for control model of hydroponic lettuce automatic sorting system

2.5 分选系统工作流程

分选系统工作流程见图10。具体流程为：

图10 异常水培生菜自动分选系统工作流程Fig.10 Processing of hydroponic lettuce automatic sorting system

(1)水培生菜图像采集。系统供电启动，光电传感器检测到被遮挡的信号，计算机控制安装在水培生菜侧下方的3个摄像头进行图像采集，见图10a。

(2)水培生菜图像分割。将3个摄像头所获取图像保存于指定文件夹，计算机调用模型同时进行图像分割处理，见图10b、10c、10d(图中分割后图像中不同颜色代表不同的类别，黑色为背景，红色为正常生菜，黄色为枯萎叶，绿色为黄叶，蓝色为腐烂叶)。随后，向单片机传送异常叶片信号。其中，如水培生菜同时含有枯萎叶、黄叶和腐烂叶，向单片机传送的异常叶片信号类型为腐烂叶。

(3)取出水培生菜。单片机接收到计算机发送的异常叶片信号后，控制推进气缸推出，托举气缸推举末端执行器，将生菜从采收运输装置处托起，完成水培生菜取出动作，见图10e。

以社会主义核心价值体系的视角来阐释方志敏精神，深层次地理解和体会方志敏精神，从中找出两者之间的内在联系，即指导思想的一致性：方志敏精神是马克思主义中国化的产物；价值取向的统一性：方志敏精神是中国共产党人为实现崇高理想而孜孜以求的典范；民族精神与时代精神的融合性：方志敏精神是爱国爱民、勇于创造精神的一面旗帜；道德规范的耦合性：方志敏精神是社会主义荣辱观的极好注释。

(4)分选动作执行子系统无动作。水培生菜正常，等待进入水培生菜包装线，见图10f。

(5)将水培生菜放置到枯萎叶、黄叶处理包装区。末端执行器取出含有黄叶或者枯萎叶的生菜后推进气缸收缩，步进电机顺时针转动90°，推进气缸再推出，最后托举气缸收缩，将生菜放置于枯萎叶、黄叶处理包装区，见图10g。

(6)将水培生菜放置到腐烂生菜丢弃区。本步骤中气缸动作与上一步完全相同，但其步进电机转动方向为逆时针转动90°，包含腐烂叶片的水培生菜被放置于丢弃区，见图10h。

(7)气缸复位及步进电机复位。完成分选后，托举气缸先收缩然后推进气缸收缩，气缸复位；随后步进电机顺时针转动90°，完成步进电机复位，见图10i。

3 分选动作执行子系统参数优化试验

3.1 试验设计

依据实际分选作业工况与分选预试验结果，选取横向支撑杆角度x1、纵向支撑杆角度x2和步进电机转速x3为试验因素，参照生菜冷藏运输技术标准GH/T 1191—2020规定，选定分选动作执行子系统的分选成功率y1为评价指标，为排除水培生菜特征误分类所带来的误差，分选搬运动作执行过程中未发生水培生菜翻转或掉落均被判定为分选成功，分选动作执行子系统的分选成功率y1为

(1)

式中n——分选动作执行成功次数

N——单组试验重复次数

设计三因素五水平二次正交旋转组合试验[25]，每组试验重复100次，因素编码见表1。

表1 试验因素编码Tab.1 Coding of test factors

3.2 试验结果分析与优化

利用Design-Expert 8.0.6软件对试验结果进行二次回归分析，得到分选动作执行子系统的分选成功率y1的回归方程，并进行显著性检验。

(2)

当步进电机转速为20 r/min时，横、纵向支撑杆角度两因素间存在交互作用，见图11a。随横向支撑杆角度增大，分选动作执行子系统的分选成功率先提高后降低，其横向支撑杆角度较优范围为140.00°～152.36°；纵向支撑杆角度增大，分选动作执行子系统的分选成功率先提高后降低，纵向支撑杆角度较优范围为141.6°～151.70°。当纵向支撑杆角度一定时，随着横向支撑杆角度增大，水培生菜与横向支撑杆间的接触面积增大，横向支撑杆与水培生菜外围叶片间的贴合性随之增强。这使得水培生菜重心下移，水培生菜在分选过程中的状态趋于稳定，分选动作执行子系统的分选成功率提高。当横向支撑杆角度大于某一值时，水培生菜各叶片间空隙的不均性增大。在分选过程中，当水培生菜被送至指定位置点时，由于惯性，水培生菜各叶片间空隙的不均性使得其难以保证稳定状态。这使得生菜在分选过程中易于发生翻转，分选动作执行子系统的分选成功率随之降低。由于纵向支撑杆与横向支撑杆间结构尺寸的相似性，使得纵向支撑杆角度和分选动作执行子系统的分选成功率间关系与横向支撑杆角度和分选动作执行子系统的分选成功率间关系大致相同。但在分选过程中，相较横向支撑杆，纵向支撑杆的“第3段”支撑杆部分具备较好的水培生菜收拢作用，可降低叶片间空隙的不均性。因而，当横向支撑杆角度一定时，随着纵向支撑杆角度增大，分选动作执行子系统的分选成功率虽也呈先提高后降低的趋势，但其降低幅度较小。

图11 各因素对指标影响的响应曲面Fig.11 Response surfaces of factors on various indexes

当纵向支撑杆角度为150°时，横向支撑杆角度与步进电机转速两因素间存在交互作用，见图11b。横向支撑杆角度增大，分选动作执行子系统的分选成功率先提高后降低，其横向支撑杆角度较优范围为140.00°～150.51°。当横向支撑杆角度处于低水平时，分选动作执行子系统的分选成功率随步进电机转速的增大而降低。当横向支撑杆角度处于高水平时，分选动作执行子系统的分选成功率随步进电机转速的增大先提高后降低，其步进电机转速较优范围为10.00～15.22 r/min。当步进电机转速一定时，随着横向支撑杆角度增大，水培生菜与横向支撑杆间的接触面积增大，水培生菜支撑杆与水培生菜外围叶片间的贴合性随之增强。这使得水培生菜重心下移，水培生菜在分选过程中不易发生偏移，分选动作执行子系统的分选成功率提高。当横向支撑杆角度大于某一值时，水培生菜各部分叶片的质量不均性增大，水培生菜在分选过程中极易发生抖动、翻转，分选动作执行子系统的分选成功率随之降低。当横向支撑杆角度处于低水平时，相较纵向支撑杆，横向支撑杆的“第2段”支撑杆对水培生菜的托起作用可使水培生菜重心上移。此时，由于横向支撑杆缺少“第3段”支撑杆，其水培生菜收拢作用较差，造成水培生菜位置状态的不稳定。随着步进电机转速增大，水培生菜在分选作业过程中所受离心力过大，水培生菜易发生滑动、翻转，分选动作执行子系统的分选成功率随之降低。当横向支撑杆角度处于高水平时，纵向支撑杆角度小于横向支撑杆角度。虽然纵向支撑杆的“第2段”支撑杆对水培生菜的托起作用可使水培生菜重心上移，但纵向支撑杆的“第3段”支撑杆具有一定的水培生菜收拢作用。步进电机转速增大，水培生菜与末端执行器的软质材料间的挤压变形作用增强，可对水培生菜产生类似手指“抓取”效果。因而，水培生菜不易发生位移，分选动作执行子系统的分选成功率随之提高。当步进电机转速大于某一值时，水培生菜在分选作业过程中所受离心力过大，离心力在支撑杆方向的分力大于水培生菜所受静摩擦力。导致水培生菜易发生滑动、翻转，分选动作执行子系统的分选成功率随之降低。

当横向支撑杆角度为150°时，纵向支撑杆角度与步进电机转速两因素间存在交互作用，见图11c。纵向支撑杆角度增大，分选动作执行子系统的分选成功率先提高后降低，纵向支撑杆角度较优范围为144.21°～158.03°。当纵向支撑杆角度处于低水平时，分选动作执行子系统的分选成功率随步进电机转速的增大先提高后降低。当纵向支撑杆角度处于高水平时，分选动作执行子系统的分选成功率随步进电机转速的增大而降低，步进电机转速较优范围为10.00～16.31 r/min。步进电机转速一定时，随着纵向支撑杆角度增大，纵向支撑杆的“第2段”和“第3段”支撑杆与水培生菜间的接触面积增大，纵向支撑杆与水培生菜外围叶片间的贴合性随之增强。水培生菜在分选过程中的状态随之趋于稳定，分选动作执行子系统的分选成功率提高。当纵向支撑杆角度大于某一值时，纵向支撑杆与水培生菜外部轮廓的贴合程度下降，水培生菜各叶片间空隙的不均性增大。其使得分选水培生菜过程中易发生水培生菜翻转，导致分选动作执行子系统的分选成功率降低。当纵向支撑杆角度处于低水平时，步进电机转速增大，横、纵支撑杆与水培生菜间的“抓取”作用效果增强。水培生菜不易发生位移，分选动作执行子系统的分选成功率随之提高。当步进电机转速大于某一值时，水培生菜在分选作业过程中易发生滑动、翻转，导致分选动作执行子系统的分选成功率随之降低。当纵向支撑杆角度处于高水平时，横向支撑杆先于纵向支撑杆“托举”水培生菜。由于横向支撑杆缺少“第3段”支撑杆，导致水培生菜位置状态不稳定。随着步进电机转速增大，水培生菜在分选作业过程中易发生滑动、翻转，致使分选动作执行子系统的分选成功率降低。

3.3 参数优化

为获得异常水培生菜自动分选系统中分选动作执行子系统的最佳性能参数，根据分选系统实际工作条件及分选性能要求选定优化的约束条件。利用Design-Expert 8.0.6软件多目标优化(Optimization)算法进行参数优化。目标及约束函数为

(3)

优化结果为：当横向支撑杆角度为146°、纵向支撑杆角度为150°、步进电机转速为11 r/min时，分选动作执行子系统的分选成功率为99.27%。

4 分选装置性能试验

4.1 试验设计

根据优化结果设定异常水培生菜自动分选系统中分选动作执行子系统相关参数，此时末端执行器横向支撑杆角度为146°，纵向支撑角度为150°，步进电机转速设置为11 r/min。从陕西省杨凌区杨凌现代农业创新园中随机选取水培奶油生菜100棵，包含不同状态叶片的水培生菜(正常生菜，包含枯萎叶或黄叶，同时包含黄叶、枯萎叶和腐烂叶的生菜)。异常水培生菜自动分选系统在进行作业时，生菜被准确判断为对应的类别，并放置到相应位置，判定分选成功。异常水培生菜自动分选系统的分选成功率Y1为

(4)

式中n′——生菜被准确判断为对应的类别，并成功执行分选动作次数

4.2 结果与分析

共进行100次分选试验，其中分选成功共计95次，失败5次(搬运失败2次，类别判断错误3次)，分选动作执行子系统的分选成功率y1为98%，异常水培生菜自动分选系统的分选成功率Y1为95%。

分选失败原因主要集中在两方面：①搬运过程失败，如图12a所示，生菜无法平稳放置到指定位置，由于此原因失败2次。分析后发现此类生菜株高较大，且生菜叶片过于松散不紧致，由于托架式末端执行器柔性不足，对此类生菜的适应性有待提升，致使搬运过程中易出现生菜晃动，造成分选失败。因此，本课题组在进行下一代末端执行器设计时，将会进一步考虑改变横、纵向支撑杆材料及尺寸，以提升末端执行器的自适应及柔性，达到提升本系统作业性能目的。②计算机进行图像分割时出现判断错误，如图12b所示，从而导致分选失败，由于此原因失败3次。分析后发现，该类生菜的异常叶片相互交叉严重，黄叶区域不明显，腐烂叶区域较少，且枯萎叶区域颜色较暗，易将枯萎叶区域分割为腐烂类。因此，后期将考虑增加模型训练的样本量，以提升图像分割模型性能。