张 立，周文静

（新疆科技学院，新疆库尔勒 841000）

0 引言

红提葡萄，又名“红地球”，新疆昼夜温差较大，产出的红提葡萄果粒饱满甘甜[1]，葡萄的种植采收主要依靠人工，尤其在判别红提葡萄成熟度的过程中，采用的方法一是果农感官评定，该方法主观性强，缺乏客观评价标准；二是化学成分分析，尽管依据化学成分指标进行鉴别，准确率较高，但步骤繁琐，难以推广[2]。这使得在实现农业自动化的道路上，快速、准确的判别红提葡萄成熟度并推进红提葡萄商品化成为重要研究点。因此需要寻求一种能够快速、准确的辨别红提葡萄成熟度的方法。

2016年，Pothen和Nuske采用了根据纹理特征描述并综合随机森林算法完成了对葡萄果穗的判别任务[3]；2018年，Luo等采用K均值算法实现对田间成熟葡萄果穗的判别任务[4]。上述研究采用的都是浅层机器学习算法进行葡萄果穗的判别，需要人为提取分类特征，其准确率很大程度上受所提取特征的制约。随着深度学习技术的发展，基于深度学习技术解决现实中的分类判别问题成为计算机视觉领域的研究热点[5]，特别是卷积神经网络（CNN）通过建立层级特征自动提取模型得到更准确且接近图像高级语义的特征[6]。

然而在一些嵌入式平台上，例如自动采摘机器人[7]，对硬件资源的要求十分苛刻，需要一种轻量级、低延迟（精度尚可接受）的网络模型[7]。此时，具有这些优点的MobileNet V2将更适用于自动化识别。MobileNet V2是一个用于移动和嵌入式视觉应用的高效模型与CNN的其他模型相比表现出很强的性能，对硬件要求较低，可广泛用于各种嵌入式设备中[8]。

综上所述，本研究将采用适合红提葡萄成熟度判别问题的深层MobileNet V2神经网络模型实现红提葡萄成熟度的判别。

1 MobileNet V2概述

MobileNet V2的基本单元是深度可分离卷积[10]。可分离卷积主要有两种类型：简单空间可分离卷积和深度可分离卷积，简单空间可分离卷积的基本过程如图1，空间可分离卷积将卷积核划分为两个较小的卷积核，本文即将3×3的卷积核划分为3×1和1×3的卷积核。

图1 简单空间可分离卷积

深度可分离卷积可以分解为深度卷积和逐点卷积[11]。深度卷积针对每个输入通道采用不同的卷积核，即一个卷积核对应一个输入通道。逐点则采用1×1的卷积核，本文使用的MobileNet V2的基本单元如图2。

图2 MobileNetV2基本单元

2 材料与方法

2.1 试验设备

试验电脑采用64位Windows 11操作系统。处理器为Intel(R)Core(TM)i5-1155G7@2.50GHz，内存为16GB，显示适配器为NVIDIA GeForce GTX 1060；软件环境：使用Anaconda搭建了基于Python 3.7的虚拟环境。试验使用手持色差计为上海精密便捷式专业精密色差计CM-205系列。

试验所需图像样本均采样自新疆巴音郭楞蒙古自治州库尔勒阿瓦提乡的葡萄园，2021年8月23日至8月27日，在采收期采集田间自然生长条件下红提葡萄图像。图像采集设备采用2种不同图像处理策略的智能手机，即vivo IQOO Z5和Redmi Note8 Pro分别拍摄红提葡萄果穗的高清图像以保证样本的多样性，分辨率均固定为4 624×2 601（16：9）。图像采集时，采用随机方式在不同角度位置拍摄不同成熟度的红提葡萄，图像以采集日期命名，共得到380张红提葡萄图像[12]，采集过程中随机选取其中20串果穗保存并带回。

2.2 成熟度指标

使用手持色差计测定带回的葡萄果穗果实赤道部位的光泽明亮度L*、取值范围为[1，100]，L*越大，表示果面亮度越高，反之越低；a*和b*表示颜色组分取值范围[-60，+60]，+a*为红色，-a*为绿色；+b*为黄色，-b*为蓝色，其绝对值越大，颜色越深[13]。利用a*和b*计算果皮的色泽饱和度C*，果皮色调角h°用于表示色彩，通过它可以得到色彩的分区，色彩分区与色调角h°的对应关系见表1。

表1 颜色分区与色调角对应关系图

根据上述公式计算葡萄果实颜色指数CIRG，并依据CIRG构建数据集中果皮着色度的分类标准[14]。数据集中按葡萄果皮整体的着色度不同进行等级分类，不同成熟度等级的红提葡萄果穗图像数分别为：L级38穗、XL级40穗、2XL级105穗、3XL级114穗、4XL级55穗、5XL级28穗。经过分类处理的不同成熟度等级的红提葡萄果穗表皮的CIRG范围值见下表。

2.3 数据集构建及预处理

实地拍摄的380张不同着色度的红提葡萄图像依据表2指标划分葡萄成熟度的不同等级，用于构建试验所需数据集。

表2 不同成熟度等级红提葡萄指数

为提高神经网络的训练效率、模型的泛化能力及抗干扰性。首先对数据集中380张红提葡萄图像进行预处理：为兼顾计算速度与图像质量，将原始图像中的葡萄果实区域裁剪为224 px×224 px大小，并将数据集中的图像随机进行水平、垂直、压缩、扭曲图像操作，以消除特征之间量纲不同造成的影响。数据集进行预处理后得到1 520张图像，未经处理与进行预处理后的红提葡萄图像如图3。

图3 红提葡萄图像的预处理

通过运行data_split.py程序进行葡萄图像数据集的划分，试验将数据集中的红提葡萄图像按7:2:1分为训练集（1 064张）、验证集（304张）、测试集（152张）[15]，之后采用训练集和验证集对MobileNet V2模型进行训练。

3 试验结果与分析

采用本文数据集训练模型后，模型训练的准确率及交叉熵如图4。

图4 模型训练的准确率及交叉熵损失量

从图4a可以明显的观察到，随着训练迭代次数的增加，模型训练的准确率快速提高，验证准确率也在逐渐升高，在第30次训练时正确率达到100%，此时，验证准确率也最终稳定在83%左右，表明模型训练效果较好。图4b可以明显的观察到随着训练迭代次数的增加，模型训练的交叉熵损失量在减小，表示真实概率分布与预测概率分布之间的差异在不断减小，即模型训练过程中预测分类结果和真实分类情况越接近，表明模型预测效果就越好。

在此过程中，验证损失量随着迭代次数的增加，其交叉熵损失量首先呈现下降趋势，随后验证损失量略有增加。该曲线表明模型经过不断优化后，产生了轻微的过拟合，但增加时仍然能保持比较平稳的状态。表明模型的预测结果较为稳定。

分析以上两图可得，本文的实验对MobileNet V2模型训练过程较好，根据验证曲线可知该模型能够较为准确地完成葡萄果穗不同等级的分类任务。

本研究训练得到的模型判别的平均时间为2.5 s。从测试集中随机选取100张图像上传进行测试，测试数据集结果的混淆矩阵已做归一化的处理，其预测结果均以概率展示，通过图5可以直观的观察到对于葡萄成熟度判别任务的5个分类，经计算训练出来的MobileNet V2模型的平均正确率为87%。该模型的最高正确率可达97%，其中模型判别XL等级的正确率最低，为72%，分析其误判的原因主要为训练所用的图像划分不够精确，非模型自身因素。由此可见，该模型能够较准确地判别葡萄果穗的成熟度等级。

图5 MobileNetV2的混淆矩阵

图6 系统界面与判别结果

最后，本文采用QT语言[16]制作了可视化的页面，如图6 ，系统正常运行后，点击“上传”选择要上传的样本，从测试集中随机选取图像上传系统，点击“开始判别”即可实现葡萄果穗成熟度等级的判别。图中所示葡萄果皮整体呈现为绿色葡萄，成熟度级别被判别为L，与表1中划分的范围一致。

4 结论

为提高采摘机器人对采摘对象的精准分类和定位结合自然环境下葡萄成熟度检测面临的实际问题[17]，利用深度学习与图像处理相关技术进行葡萄成熟度实时检测研究并设计了葡萄成熟度判别系统。进行了葡萄数据集的采集、图像预处理以及数据集的制作。通过对MobileNet V2模型的训练，实现了葡萄成熟度的实时检测，得出以下结论：

（1）葡萄成熟度辨别系统在测试集的预测中模型的平均准确率达到了87%。

（2）采用QT语言制作的可视化的软件界面，能够通过简单的点击操作实现葡萄果穗成熟度等级的判断。

（3）试验结果表明，基于轻量级的卷积神经网络MobileNet V2判别葡萄成熟度的方法具有较高的稳定性、操作简单且使用便捷，具有实际应用价值，可为进一步研究葡萄自动采摘机器人提供参考。