梁喜凤，章鑫宇，王永维

·农业信息与电气技术·

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

梁喜凤1，章鑫宇1，王永维2

（1. 中国计量大学机电工程学院，杭州 310018； 2. 浙江大学生物系统工程与食品科学学院，杭州 310058）

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题，提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度，并对部分特征图添加ECA（Efficient Channel Attention）注意力机制，以提升模型精度；通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置；针对部分单根枝条被分割成多段掩膜的问题，通过掩膜边界框宽高比区分侧枝和主枝，分析同一枝条相邻掩膜约束条件，然后将符合约束条件的掩膜进行合并连接；根据修剪点在主枝附近的特点确定修剪点所在端，确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明，改进的Mask R-CNN模型平均分割图片时间为0.319 s，召回率和精确率分别为91.2%和88.6%，掩膜平均合并成功率为86.2%，修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。

模型；图像识别；目标检测；Mask R-CNN；侧枝；主枝；修剪点

0 引 言

番茄是世界上栽培最为普遍的果蔬之一，中国是世界上番茄生产总量最多国家之一[1-2]。枝叶修剪是番茄种植过程中的重要环节，及时修剪枝叶可以改善植株通透性，降低病害率和提高番茄经济效益[3]。由于叶子生长在侧枝上，目前番茄枝叶修剪主要通过人工割断或掰断侧枝实现，这样不仅增加了人工成本，在割断或掰断过程中还会造成番茄植株的损伤[4-5]。规模化种植的番茄植株间的行距较为宽阔，适合枝叶修剪自动化作业[6]。因此，研发番茄枝叶修剪机器人代替人工摘叶是可行且有必要的，而要实现番茄枝叶修剪自动化作业，番茄侧枝、主枝的检测与修剪点的识别十分重要。

目前，学者们在植株枝条自动化修剪和果蔬采摘方面进行了相关研究。荷兰Priva公司在2017年发布了一款番茄枝叶修剪机器人，可实现番茄枝叶自动化修剪[7]。宁政通等[8]通过改进Mask R-CNN对葡萄果梗进行识别与分割，葡萄果梗的识别平均精确率为88%。严亚飞[9]为了解决枸杞枝条自然环境下识别干扰多的问题，采用k-means聚类分割法识别出枸杞枝条。韦锦等[10]采用DA2-YOLOv4模型识别绿篱，检测速度为83.1帧/s，平均精确率为98.5%。Peng等[11]采用DeepLab v3+分割荔枝枝条，模型分割的平均交并比为76.5%。Zhang等[12]采用R-CNN检测苹果分支，平均召回率与准确率分别为91.5%和85.5%。Qi等[13]采用TC-YOLO模型检测茶菊花，检测平均精度为92.49%，检测速度为47.23帧/s，该算法在复杂和非结构化环境下仍表现出较高鲁棒性。马志艳等[14]采用改进的Mask R-CNN模型分割茎秆杂质，分割识别准确度可达91.12%，平均处理时间为3.57 s。Palacios等[15]结合VGG19与Segnet对葡萄花穗进行检测与分割，F1分数分别为0.93和0.73。Afonso等[16]建立了基于Mask R-CNN的成熟番茄和未成熟番茄识别模型，识别准确率分别为95%和94%。陈锋军等[17]采用改进的EfficientDet 模型检测油橄榄果实的成熟度，精确率和召回率分别为92.89%和93.59%。Liang等[18]采用YoloV3与U-Net相结合的方法检测与分割夜间环境下的荔枝与果梗，试验表明精确度与鲁棒性较高。

上述研究表明，植株枝条自动化修剪和果蔬采摘领域已经有了一定的进展，而番茄侧枝修剪点识别方面的研究较少且以传统图像处理方法为主。传统图像处理方法和卷积神经网络检测方法是常见的目标识别方法，由于番茄植株侧枝、主枝、叶片与未成熟果实颜色相近，采用基于阈值特征的传统图像处理方法无法进行有效区分和分割，而卷积神经网络模型可以基于目标的颜色、形态和纹理特征检测出番茄植株的主枝和侧枝。

本文以规模化种植的番茄植株为研究对象，为解决传统图像处理方法难以将枝条从近色背景中有效分割的问题和保证不同环境下识别的鲁棒性，采用MobileNetv3-Large替换Mask R-CNN模型的主干网络，并引入ECA（Efficient Channel Attention）注意力机制，以此建立了一种基于改进Mask R-CNN的番茄主枝与侧枝的检测分割模型，利用同一枝条相邻掩膜约束合并被分割成多段掩膜的单根枝条，通过侧枝修剪点在主枝附近的特点识别修剪点，为番茄枝叶修剪机器人修剪点的识别提供技术支持。

1 模型检测分割

1.1 建立数据集

图像数据采集于杭州传化来春农场，在2022年4－7月期间拍摄晴天和阴天条件下番茄植株枝条800张图片，采样距离为300～600 mm，图片尺寸调整为960×704像素。为了提升模型的泛化能力和鲁棒性，通过镜像、平移、添加高斯噪声的方式进行数据增强，最终得到3 200张图片，随机选择1 000张图片作为数据集，其中800张为训练集，200张为测试集。

番茄植株整株枝条形态不一，将植株上的所有枝条视作一个整体进行标记不利于神经网络提取枝条的形状特征，所以本文采用如图1所示的分段标记方式进行标注，即将每根枝条视作一个单独的标记目标。由于侧枝是修剪作业对象，主枝是作为后续修剪点识别的辅助对象，所以选择侧枝和主枝作为标记训练对象，类别均为branch（侧枝与主枝后续可通过边界框宽高比区分）。图 1a中番茄植株有3个标记对象，包括1个主枝和2个侧枝，分段标记后生成了与枝条对应的3段标记掩码，如图1b。

图1 标记侧枝和主枝

1.2 改进的Mask R-CNN模型

Mask R-CNN[19]是何凯明提出的一种实例分割网络，可用于目标检测与分割，但该网络参数过多、计算量大，因此本文提出了一种基于MobileNetv3-Large骨干网络和ECA注意力机制的改进Mask R-CNN模型，其网络结构如图2所示。

注：C2-C5代表MobileNetv3-Large网络特征图；P2-P5代表经特征金字塔网络FPN特征融合后的特征图；GAP代表全局平均池化；C代表通道数；H代表高度，W代表宽度，单位为像素。

首先将数据增强后的数据集输入到改进的Mask R-CNN网络中，采用MobileNetv3-Large网络对输入的图像进行特征提取，获取特征图C2、C3、C4、C5，然后将C3和C4输入到ECA注意力模块中进行特征加强，并与特征图C2、C5输入到特征金字塔网络FPN中对提取的枝条特征进行融合，区域建议网络RPN（Region Proposal Network）分别采用卷积核大小为1×1的卷积层对兴趣区域进行分类和回归，获得枝条的初步候选区域，不同尺寸的候选区域特征层通过兴趣区域对齐调整到相同尺寸，最后输入到头部网络中，全连接层用于检测侧枝与主枝的种类与边界框回归，全卷积网络用于检测侧枝与主枝的掩膜。

1.2.1 主干网络MobileNetv3-Large

考虑枝叶修剪机器人在移动端场景中工作，本文采用MobileNetv3-Large替代原始Mask R-CNN模型骨干网络ResNet50来降低模型复杂度，提升运行速度。

MobileNetv3-Large是谷歌提出的轻量神经网络模型，基本单元是深度可分离卷积，通过两个超参数（宽度因子和分辨率因子）来调节网络速度和准确度[20-21]。该网络使用1个3×3的标准卷积和多个bneck层进行特征提取，使用1×1的卷积代替全连接层，最后通过最大池化层完成分类，MobileNetV3-Large结构如表1所示。

表1 MobileNetV3-Large结构

注：Conv2d为普通卷积层，pool为池化层，benck为瓶颈层，exp size代表膨胀系数，#out代表输出特征图的通道数，SE表示是否引入注意力模块，NL表示激活函数的类型，HS代表h-swish激活函数，RE代表ReLU激活函数，NBN为无批标准化，表示步长，表示目标类别数目。

Note: Conv2d is ordinary convolution layer, pool is pooling layer, benck is bottleneck layer, exp size represents expansion factor, #out represents channel of output feature maps, SE represents whether there is a Squeeze-And-Excite in that block, NL represents the type of nonlinearity,HS represents h-swish, RE represents ReLU, NBN represents no batch normalization,represents stride,represents number of target category .

bneck层继承了MobileNet V1中的深度可分离卷积与MobileNet V2[22]中的具有线性瓶颈的逆残差结构，部分bneck块引入SE（Squeeze-And-Excite）[23]注意力机制。为了减少运算量和提升运行速度，使用h-swish代替激活函数swish，使用h-sigmoid代替激活函数sigmoid，h-sigmoid、h-swish的计算公式如下：

式中为输入张量，ReLU6为激活函数ReLU6。

1.2.2 ECA注意力机制

为了保证模型复杂度降低的同时仍具有较高的精度，引入ECA注意力机制对MobileNetv3-Large提取的特征图C3、C4中枝条特征进行加强。

ECA是Wang等[24]在2020年提出的一种轻量级通道注意力机制，能够有效捕捉局部跨通道交互信息。ECA原理如图2中ECA具体结构部分，该机制不进行降维操作，直接进行全局平均池化，然后通过自适应选择的尺寸为的快速一维卷积来进行局部跨通道连接，之后使用sigmoid函数获得每个通道权重，将原始输入特征与通道权重结合获得具有通道注意力的特征，其中的取值表示为

2 枝条掩膜合并

将图片输入到改进的Mask R-CNN模型中进行预测，部分图片的预测结果中出现一根枝条被分割成多段掩膜的情况，这会对后续枝条修剪点的识别产生干扰，因此需要将属于同一枝条的多个掩膜合并为一个掩膜。

2.1 同一枝条相邻掩膜约束分析

为了将属于同一枝条的多个掩膜合并为一个掩膜，本文选取测试集中被分割成多段掩膜的单根枝条进行分析，确定同一枝条相邻掩膜约束条件。

1）同一枝条相邻掩膜重叠约束条件

同一枝条相邻的两个掩膜间存在重叠区域。因此，对于任意两个掩膜A与B，若属于同一枝条相邻掩膜，需要满足约束条件：存在重叠区域，该条件等价为

式中、为像素点坐标，(,)为掩膜A二值图象在(,)处像素值，(,)为掩膜B二值图象在(,)处像素值。

2）同一枝条相邻掩膜极点约束条件

将被分割成多段的侧枝和主枝上的掩膜简化为图3，侧枝和主枝上相邻掩膜极点约束条件有所不同，需要分开讨论。

注：MA1与MB1为一侧枝上的两个相邻掩膜，L1、R1分别为MA1的左右极点，L2、R2分别为MB1的左右极点，V1为MA1与MB1重叠区域；MA2与MB2为一主枝上的两个相邻掩膜，T1、B1分别为MA2的上下极点，T2、B2分别为MB2的上下极点，V2为MA2与MB2重叠区域。

对于侧枝，由图3观察确定了同一枝条相邻掩膜满足极点约束条件：

1=2（4）

式中1为L1、R1、L2、R2在重叠区域V1上的个数。

对于主枝，同理确定了同一枝条相邻掩膜满足极点约束条件：

2=2（5）

式中2为T1、B1、T2、B2在重叠区域V2上的个数。

2.2 同一枝条掩膜合并

基于同一枝条相邻掩膜约束条件，本文提出了一种同一枝条掩膜合并算法，其合并过程如图4所示，具体步骤如下：

图4 同一枝条掩膜合并过程

1）将图片输入模型中，获取枝条边界框、掩膜二值图相关信息，计算每个掩膜边框宽高比，然后对掩膜进行分类，通过对侧枝与主枝掩膜边界框进行统计，结果如图5所示，所以确定分类依据为：当≥0.6，掩膜为偏水平掩膜（侧枝掩膜）；当<0.6，掩膜为偏竖直掩膜（主枝掩膜）。宽高比表示为

式中1、1为边界框左上角顶点坐标，2、2为边界框右下角顶点坐标。

2）合并被分割多次的侧枝掩膜：将侧枝掩膜两两组合且不重复，根据式（3）初步筛选出符合重叠约束条件的组合及获取重叠区域，利用Opencv[25]查找初步筛选出的组合内每张掩膜图的轮廓并获取左右极点坐标，计算4个极点在重叠区域内的个数，根据式（4）筛选出符合极点约束的掩膜组合并进行掩膜合并，掩膜合并表示为

式中merge为合并后掩膜，为合并前同一枝条上掩膜个数，mask为合并前同一枝条上第个掩膜。

3）为合并后的侧枝掩膜生成新边界框，设合并前同一枝条上的第(=1,2,…,)个掩膜边界框的左上角顶点坐标、右下角顶点坐标分别为x1、y1、x2、y2，则新边界框生成方式表示为

图5 主枝与侧枝宽高比

式中new1、new1、new2、new2依次为新边界框的左上角顶点横纵坐标、右下角顶点横纵坐标。

4）合并被分割多次的主枝掩膜和生成新边界框，主枝掩膜合并实现方式与步骤2）类似，但是计算对象为初步筛选出的组合内掩膜上下极点在重叠区域中的个数，然后对满足式（5）的掩膜组合并进行掩膜合并。主枝新边界框生成式同上式（8）。

3 枝条修剪点识别

为确定修剪点的坐标位置，本文提出了一种基于主枝辅助的修剪点识别方法，首先根据侧枝修剪点靠近主枝的特点确定修剪点在侧枝的左端还是右端，然后在修剪点所在端进行修剪点坐标的计算。

=[1–70,2+70]（9）

式中1、2分别为主枝掩膜的边界框Box3左上角顶点、右下角顶点横坐标。

注：Mask1、Mask2为侧枝的分割掩膜，Edge1、Edge2分别为对应边缘，Box1、Box2分别为对应边界框，J1、J2分别为对应修剪点;D1、E1为Mask1的左右端点，D2、E2为Mask2的左右端点; S1、S2为边缘Edge1上的2个边缘点，位于D1左侧且水平方向上与D1间距15像素；S3、S4为边缘Edge2上的2个边缘点，位于E2右侧且水平方向与E2间距距离15像素。

修剪点具体位置的确定。若修剪点在侧枝掩膜右端，如图6中点J1，修剪点坐标计算式为

式中0、0为修剪点J1的坐标，1、1为边缘点S1坐标，2、2为边缘点S2坐标。

若修剪点在侧枝掩膜左端，如图6中点J2，修剪点坐标计算式为

式中3、3为修剪点J2的坐标，4、4为边缘点S3坐标，5、5为边缘点S4坐标。

根据上面原理，基于主枝辅助的修剪点识别过程如图7所示，具体步骤如下：

图7 修剪点识别过程

首先，按照式（9）计算主枝附近修剪点横坐标可能存在的范围；然后，对每个侧枝掩膜二值图进行边缘提取（边缘为黑色），按列获取侧枝轮廓边缘点坐标，第1个边缘点为侧枝左端端点，最后1个边缘点为侧枝右端端点，其中边缘点坐标满足式（12）。

(,)=0（12）

式中(,)表示掩膜边缘图中坐标为(,)像素点的像素值。

4 结果与分析

4.1 模型训练

本文试验环境为：Intel i7 10875H的CPU，NVIDIA GeForce RTX 2060的GPU，运行内存为16GB; 软件环境为Windows10，深度学习框架Tensorflow1.16。模型训练方式为迁移学习，训练初始学习率为0.001，权值衰减系数为0.000 1，动量因子为0.9，共训练200个epoch。

4.2 模型对主枝与侧枝识别评估

采用以ResNet50为主干的原始Mask R-CNN模型、以MobileNetv3-Large为主干的Mask R-CNN+模型和基于MobileNetv3-Large并添加ECA注意力机制的改进Mask R-CNN模型进行对比试验，评价模型对主枝与侧枝识别效果的指标主要包括召回率（，%）和精确率（，%），各评价指标计算为

式中TP表示正样本预测为正的个数，FP表示负样本预测为正的个数，FN表示正样本预测为负的个数，TN表示负样本预测为负的个数。

模型运行速度用单张图片平均分割时间表示，最终得到不同模型下的侧枝和主枝检测分割效果和对比结果如表2和图8所示。

表2 不同模型检测对比结果

图8 不同模型检测分割

由表2和图8可知，原始Mask R-CNN的召回率、精确率和平均分割时间分别为87.9%、93.3%和0.357s，主干网络MobileNetv3-Large参数量仅为ResNet50的21.1%，以MobileNetv3-Large为主干的Mask R-CNN+模型相比于以ResNet50为主干的原始Mask R-CNN模型召回率、精确率和平均分割时间分别下降2.1、7.7个百分点和0.053 s，说明仅将原始Mask R-CNN模型主干ResNet50替换为MobileNetv3-Large可以降低模型参数和提升模型的运行速度，但是模型召回率和精确率均有下降会影响枝条检测；在改进主干网络的基础上进一步添加ECA注意力机制最终得到改进Mask R-CNN模型，改进Mask R-CNN模型相比于Mask R-CNN+模型召回率、精确率和平均分割时间分别增加5.4、3.0个百分点和0.015 s，说明ECA注意力机制的添加可以改善Mask R-CNN+模型仅改进主干网络造成的召回率和精确率下降的问题。改进Mask R-CNN的召回率、精确率和平均分割时间分别为91.2%、88.6%和0.319 s。与原始Mask R-CNN相比，改进Mask R-CNN模型平均分割时间降低了0.038 s，召回率提高3.3个百分点。召回率的提升使改进Mask R-CNN模型较原始Mask R-CNN检测出更多的侧枝，降低枝条漏识别情况的发生，平均分割时间的降低使模型能更快检测枝条。总体上，与原始Mask R-CNN相比，改进Mask R-CNN在降低模型参数和速度提升的同时对枝条仍具备较好的检测性能，能够更快、更多检测到枝条。

4.3 合并效果评估

为评估单根枝条是否合并成功，即单根枝条分割掩膜数量是否为1。本文随机选取被模型分割成多段掩膜的侧枝和主枝，采用同一枝条掩膜合并算法合并掩膜，合并结果和效果如表3和图9。

表3 同一枝条掩膜合并结果

注：1、2、3分别表示合并前枝条掩膜、合并后枝条掩膜和合并后仅有1个掩膜的枝条总数。

Note:1,2,3are total number of branch masks before merging, branch masks after merging and branches with only one mask after merging.

图9 掩膜合并前后对比

由表3可知，利用掩膜合并算法对被分割成多段掩膜的侧枝和主枝进行合并，侧枝、主枝掩膜合并成功率分别为81.3%和92.3%，侧枝合并成功率比主枝合并成功率低主要是因为侧枝的形态更具多样性,其曲状特征更明显。侧枝与主枝掩膜平均合并成功率为86.2%，由图9可知，采用同一枝条掩膜合并算法合并效果较好，可有效避免后续修剪点识别时单根枝条因被分割成多段掩膜而造成的存在多个修剪点的情况。

4.4 修剪点识别评估

机器人末端执行器修剪作业方式如图10a，考虑到机器人末端执行器的尺寸和容错性，确定了修剪点是否识别准确的评价标准：1）修剪点在侧枝上；2）修剪点水平方向上距离主枝95像素以内。满足以上2个标准的修剪点视为识别准确，以图10b为例，Z3识别准确，Z1、Z2识别错误。

注：Z1、Z2和Z3为侧枝修剪点。 Note: Z1, Z2 and Z3 are lateral branch pruning points.

随机选取测试集中图片进行修剪点识别，结果如表4和图11。

表4 侧枝修剪点识别结果

由表4和图11可知，晴天和阴天条件下修剪点识别成功率分别为87.3%和76.7%，修剪点未能成功识别主要原因为：1）部分侧枝分割掩膜与侧枝发生偏移，导致识别出的修剪点不在侧枝上，见图11b中样例1与样例4；2）背景中的其余目标误识别为侧枝，导致修剪点在栏线等其余目标中，见图11b中样例2；3）侧枝遮挡过于严重，导致侧枝被误判不在主枝附近而无法识别，见图11b中样例3；4）被分割成多段掩膜的侧枝掩膜合并失败，导致单根侧枝有多个修剪点，见图11b中样例2；针对修剪点识别失败的情况在未来可进一步研究。

阴天条件下修剪点平均识别成功率较晴天低，这是因为阴天条件下受光照强度影响枝条特征不明显，针对光照较弱时识别成功率下降的问题未来可从光源选择、算法改进等角度进一步研究；晴天和阴天条件下修剪点平均识别成功率为82.9%，可为番茄植株的侧枝修剪自动化作业提供技术依据。

注：红点为修剪点，红色框代表识别失败。

5 结 论

本文基于MobileNetv3-Large和ECA注意力机制提出了一种用于枝条检测分割的改进Mask R-CNN的模型，以保证模型降低复杂度的同时具有较好的检测性能；采用同一枝条掩膜合并算法以解决部分单根枝条被分割成多段掩膜的问题，最后提出一种基于主枝辅助的修剪点识别方法确定修剪点坐标。

1）原始Mask R-CNN的召回率、精确率和平均分割时间分别为87.9%、93.3%和0.357 s，改进Mask R-CNN的召回率、精确率和平均分割时间分别为91.2%、88.6%和0.319 s，表明改进Mask R-CNN在速度提升的同时对枝条仍具备较好的检测性能，实现更快、更多的检测枝条。

2）采用同一枝条掩膜合并算法合并被分割多次的主枝与侧枝，由于侧枝形态曲状特征更明显，主枝合并成功率高于侧枝，侧枝与主枝平均合并成功率为86.2%，表明该合并算法可有效解决部分枝条被多次分割的情况。

3）采用基于主枝辅助的修剪点识别方法，先确定修剪点所在端，然后确定靠近修剪端端点的中心点作为侧枝的修剪点。对晴天和阴天条件下的图片进行修剪点识别测试，阴天条件下修剪点平均识别成功率较晴天低，修剪点平均识别准确率为82.9%，可为番茄枝叶修剪机器人研发提供技术依据，针对光照较弱时识别成功率下降以及修剪点识别失败的问题在未来可进一步研究。

[1] 龙洁花，赵春江，林森，等. 改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法[J]. 农业工程学报，2021，37(18)：100-108.

Long Jiehua, Zhao Chunjiang, Lin Sen, et al. Segmentation method of the tomato fruits with different maturities under greenhouse environment based on improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 100-108. (in Chinese with English abstract)

[2] Li Z, Miao F, Yang Z, et al. Factors affecting human hand grasp type in tomato fruit -picking: A statistical investigation for ergonomic development of harvesting robot[J]. Computers and Electronics in Agriculture, 2019, 157: 90-97.

[3] 王慧茹，闫思华，高艳明，等. 不同整枝方式对樱桃番茄果实商品性、营养品质及产量的影响[J]. 浙江大学学报（农业与生命科学版），2021，47(3)：347-353.

Wang Huiru, Yan Sihua, Gao Yanming, et al. Effects of different pruning patterns on fruit commodity, nutritional quality and yield of cherry tomato[J]. Journal of Zhejiang University (Agric. & Life Sci.), 2021, 47(3): 347-353. (in Chinese with English abstract)

[4] 杨铭涛，梁喜凤. 番茄枝叶裁剪机械臂设计与运动学分析[J]. 中国农机化学报，2021，42(4)：8-14.

Yang Mingtao, Liang Xifeng. Design and kinematics analysis of a tomato branch and leaf cutting manipulator[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 8-14. (in Chinese with English abstract)

[5] 李天华，孙萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄识别方法[J]. 农业工程学报，2021，37(21)：183-190.

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[6] 王海楠，弋景刚，张秀花. 番茄采摘机器人识别与定位技术研究进展[J]. 中国农机化学报，2020，41(5) ：188-196.

Wang Hainan, Yi Jinggang, Zhang Xiuhua. Research process on recognition and localization technology of tomato picking robot[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(5): 188-196. (in Chinese with English abstract)

[7] Priva. World's first fully automated leaf-cutting robot for tomato crops[EB/OL]. (2021-09-16) [2022-10-28]. https://www.priva.com/blog/horticulture/worlds-first-fully- automated-leaf-cutting-robot.

[8] 宁政通，罗陆锋，廖嘉欣，等. 基于深度学习的葡萄果梗识别与最优采摘定位[J]. 农业工程学报，2021，37(9)：222-229.

Ning Zhengtong, Luo Lufeng, Liao Jiaxin, et al. Recognition and the optimal picking point location of grape stems based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 222-229. (in Chinese with English abstract)

[9] 严亚飞. 智能枸杞采摘机器人枝条识别与定位关键技术研究[D]. 合肥：合肥工业大学，2019.

Yan Yafei. Research on the Key Technology of Branch Recognition and Location of Intelligent Chinese Wolfberry Picking Robot[D]. Hefei: Hefei University of Technology, 2019. (in Chinese with English abstract)

[10] 韦锦，李正强，许恩永，等. 基于DA2-YOLOv4算法绿篱识别研究[J]. 中国农机化学报，2022，43(9)：122-130.

Wei Jin, Li Zhengqiang, Xu Enyong, et al. Research on hedge recognition based on DA2-YOLOv4 algorithm[J]. Journal of Chinese Agricultural Mechanization, 2022, 43(9): 122-130. (in Chinese with English abstract)

[11] Peng H X, Xue C, Shao Y Y, et al. Semantic segmentation of litchi branches using DeepLab v3+ model[J]. IEEE Access, 2020, 8: 164546-164555.

[12] Zhang Q, Zhang X, Zhang J, et al. Branch detection for apple trees trained in fruiting wall architecture using depth features and regions-convolutional neural network (R-CNN)[J]. Computers and Electronics in Agriculture, 2018, 155: 386-393.

[13] Qi C, Gao J F, Pearson S, et al. Tea chrysanthemum detection under unstructured environments using the TC-YOLO model[J].Expert Systems with Applications, 2022, 193: 116473.

[14] 马志艳，张徐康，杨光友. 基于改进Mask R-CNN的水稻茎秆杂质分割方法研究[J]. 中国农机化学报，2021，42(6)：145-150.

Ma Zhiyan, Zhang Xukang, Yang Guangyou. Research on segmentation method of rice stem impurities based on improved Mask R-CNN[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(6): 145-150. (in Chinese with English abstract)

[15] Palacios F, Bueno G, Salido J, et al. Automated grapevine flower detection and quantification method based on computer vision and deep learning from on-the-go imaging using a mobile sensing platform under field conditions[J]. Computers and Electronics in Agriculture, 2020, 178: 105796.

[16] Afonso M, Fonteijn H, Fiorentin F S, et al. Tomato fruit detection and counting in greenhouses using deep learning[J]. Frontiers in Plant Science, 2020, 11: 571299-571310.

[17] 陈锋军，张新伟，朱学岩，等. 基于改进EfficientDet的油橄榄果实成熟度检测[J]. 农业工程学报，2022，38(13)： 158-166.

Chen Fengjun, Zhang Xinwei, Zhu Xueyan, et al. Detection of the olive fruit maturity based on improved EfficientDet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 158-166. (in Chinese with English abstract)

[18] Liang C, Xiong J, Zheng Z, et al. A visual detection method for nighttime litchi fruits and fruiting stems[J]. Computers and Electronics in Agriculture, 2020, 169: 105192.

[19] He K M, Gkioxari G, Dollar P, et al. Mask R-CNN[C]//Proceedings of 2017 Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2980-2988.

[20] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient convo-liutional neural networks for mobile vision applications[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 1704-1712.

[21] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seoul, Korea (South): IEEE, 2019: 1314-1324.

[22] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[23] Huang G, Liu Z, Laurens V, et al. Densely connected convolutional networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Maryland, USA: IEEE, 2017: 3641-3647.

[24] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual, USA: IEEE, 2020: 11531-11539.

[25] 李立宗. OpenCV轻松入门：面向Python[M]. 北京：电子工业出版社，2019.

Recognition method for the pruning points of tomato lateral branches using improved Mask R-CNN

Liang Xifeng1, Zhang Xinyu1, Wang Yongwei2

(1.,,310018; 2.,,310058,)

Branch and leaf pruning has been one of the most important links in the process of tomato planting for reducing the disease rate and increasing economic benefits. However, the manual pruning of tomato branches and leaves cannot fully meet large-scale production in recent years, due to the time-consuming and labor-intensive task. An accurate and rapid identification of the pruning position can be greatly contributed to the automatic operation of tomato branch and leaf pruning. In this study, a Recognition method was proposed for the pruning point of the tomato lateral branch using an improved Mask R-CNN. Firstly, the backbone network of ResNet50 in the original Mask R-CNN was replaced with the MobileNetv3-Large to reduce the model complexity. Efficient Channel Attention was added to the feature map C3 and C4, in order to focus more on the features of the lateral and main branch rather than other features. Then, the tomato lateral and main branches were predicted using the improved Mask R-CNN. Three steps were selected to avoid some single branches taken as multiple masks. The lateral and main branch masks were first distinguished by the aspect ratio of the bounding boxes. The overlap and pole constraints were then analyzed for the adjacent masks that belonged to the same branch. The masks with similar constraints were finally merged and joined in the images. The pruning point of the lateral branch was only positioned at one of the two ends of the lateral branch. The lateral pruning point identification was proposed with the help of the main branch, in order to determine the coordinate of the lateral pruning point. The range near the main branch was first determined. And then the branch pruning end was determined by estimating which one of the lateral branch left and right endpoints was in the range. The center point close to the endpoint of the pruning end was finally determined as the pruning point of the lateral branch. The original and improved Mask R-CNN were also compared to verify the detection performance of the lateral and main branches. The recall rate and precision of the original Mask R-CNN were 87.9% and 93.3%, respectively, whereas, the recall rate and precision of the improved Mask R-CNN were 91.2% and 88.6%, respectively. The number of backbone network parameters in the improved Mask R-CNN was only 21.1% of that in the original one. The average segmentation time of the improved Mask R-CNN decreased by 0.038 s than before. The results showed that the backbone network of MobileNetv3-Large reduced the model parameters with the high speed in the improved Mask R-CNN. More branches were recognized, particularly when adding the Efficient Channel Attention mechanism into the feature map C3 and C4. Lateral and main branches that were divided into multiple masks were selected randomly to verify the performance of merging masks. The merging success rate of lateral branch masks was lower than that of the main branch masks, due to the more outstanding curved shape of the lateral branch. The average success rate of merging masks was 86.2%, indicating the excellent performance of merging masks. The presence of multiple pruning points was effectively reduced, where the single branch was normally taken as the multiple masks. Some images were selected randomly in the test set to verify the recognition accuracy for the pruning point of the lateral branch. The result showed that the recognition success rate on sunny days was higher than that on cloudy. The average recognition success rate was 82.9%,which fully met the requirements of lateral branch pruning. This finding can provide the technical support for the tomato branch and leaf pruning automatically.

model; image recognition; target detection; Mask R-CNN; lateral branch; main branch; pruning point

10.11975/j.issn.1002-6819.2022.23.012

TP391.41

A

1002-6819(2022)-23-0112-10

梁喜凤，章鑫宇，王永维. 基于改进Mask R-CNN的番茄侧枝修剪点识别方法[J]. 农业工程学报，2022，38(23)：112-121.doi：10.11975/j.issn.1002-6819.2022.23.012 http://www.tcsae.org

Liang Xifeng, Zhang Xinyu, Wang Yongwei. Recognition method for the pruning points of tomato lateral branches using improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 112-121. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.012 http://www.tcsae.org

2022-09-16

2022-11-11

国家自然科学基金资助项目（31971796）

梁喜凤，博士，教授，研究方向为农业机器人。Email：lxfcjlu@163.com