贾伟宽，李倩雯，张中华，刘国良，侯素娟，Ji Ze，郑元杰

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

贾伟宽1,2，李倩雯1，张中华1，刘国良3，侯素娟1，Ji Ze4，郑元杰1※

（1. 山东师范大学信息科学与工程学院，济南 250358；2. 机械工业设施农业测控技术与装备重点实验室，镇江 212013；3. 山东大学控制科学与工程学院，济南 250061；4. 卡迪夫大学工程学院，卡迪夫 CF24 3AA，英国）

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割，该研究提出了一种基于SOLO的绿色果实优化分割算法。首先，利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络，用于提取绿色果实特征；其次，为更好地应对绿色果实特征的多尺度问题，引入特征金字塔网络（Feature Pyramid Networks，FPN），构造ResNeSt+FPN组合结构；最后，将SOLO算法分为类别预测和掩码生成2个分支，类别预测分支在预测语义类别的同时，掩码生成分支实现了对绿色果实的实例分割。试验结果表明，优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%，平均每张绿色果实图像在图形处理器（Graphics Processing Unit，GPU）上的分割时间为0.14 s。通过对比试验可知，优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network，Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network，Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation，FCIS）提高了1.63、1.74、2.23和6.52个百分点，精确率分别提高了1.10、1.47、2.61和6.75个百分点，分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴，扩展果园测产和机器采摘的应用范围。

图像分割；图像处理；算法；特征金字塔网络；绿色果实

0 引 言

视觉系统是果蔬采摘机器人的重要组成部分，其分割精度和速度对采摘机器人的效率有很大的影响，实现目标果实的精准分割已成为视觉系统研究的关键。……