陆泽楠　孙松丽　朱文旭

摘要：随着农业机械化水平的不断提高，分类机器人逐渐步入农业生产中。本文以深度学习理论为基础，将神经网络与机器视觉相结合，提出了基于yolov3模型的梨实时分类方法，分类平均准确率达到98.7%，并准确得出相对坐标位置，为分类机器人提供良好抓取点。该分类方法具有良好的泛化能力和实时性，农业生产自动化提供良好平台。

Abstract： With the continuous improvement of the level of agricultural mechanization， classification robots have gradually entered agricultural production. Based on deep learning theory， this paper combines neural network and machine vision， and proposes a real-time pear classification method based on yolov3 model. The average classification accuracy rate reaches 98.7%， and the relative coordinate position is accurately obtained， which provides a good grasp for the classification robot grab points. The classification method has good generalization ability and real-time performance， and provides a good platform for agricultural production automation.

关键词：梨;分类识别;深度学习;yolov3;自动化

Key words： pear;classification recognition;deep learning;yolov3;automation

中图分类号：TP24                                        文献标识码：A                                  文章编号：1006-4311（2020）14-0280-03

0  引言

随着农业机械化水平的不断提高，分类机器人逐渐步入农业生产中。梨实时识别技术是分类机器人的重要组成部分，主要依靠计算机视觉完成。由于自然环境下光照、相簇梨等干扰因素的差异，传统识别方法难以满足该条件下的识别泛化性和实时性。近年来，深度学习作为人工智能的重要算法，在计算机视觉领域引起了突破性的变革。在深度学习模型下进行梨的分类识别，不仅准确率得以大幅提升，而且单次识别时间能达到0.01ms以下，满足生产需求。

1  数据集的准备与制作

1.1 原始圖片的采集

本文针对不同环境下的成熟梨果实进行实时识别研究，图像样本采集自果园及部分网站，采集环境基于不同天气条件、不同光照条件等，对不同果实状态和不同果实大小的梨果实进行图像采集，结合爬虫得到的部分图片，共采集原始图片1630张，并从中随机选择1300张作为原始训练集，230张作为原始测试集，100张作为验证集。

1.2 数据集的制作

首先，对实地采集的样本进行图像预处理，其中，为了降低卷积操作带来的巨大运算量，提高训练速度，通过opencv双线性插值法将所有样本的分辨率降低为416×416，为了提高对逆光等极端光照条件下的柑橘特征学习能力，对该环境下的原始训练样本采用自适应直方图均衡化处理，部分低质量图像进行舍弃。其次，数据扩增可以提高识别模型的鲁棒性与泛化性，本文对随机抽取的部分原始训练样本和原始测试样本进行水平、垂直和对角镜像，以及±45°旋转操作。最后，对扩增后的训练集和测试集中的柑橘果实进行特征框标注，标注软件为Colabeler，其中，对于像素面积低于20×20、被遮挡重叠区域面积大于40%的梨果实不做标注，对存在多个果实的图像进行依次标注，验证样本不做标注。图片处理流程如图1所示。

经过图像预处理、数据扩增和样本标注等操作，获得试验所需的训练集、测试集和验证集，具体信息如表1所示。

1.3 分类识别模型

目前目标检测领域的深度学习方法主要分为两类：two stage的目标检测算法;one stage的目标检测算法。two stage是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类，此类典型算法有R-CNN系列（R-CNN、Fast R-CNN、Faster R-CNN）。one stage则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理，这种端对端的算法结构的检测速度大于前者，此类典型算法有YOLO系列和SSD系列。正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。

考虑目标检测的实时性及分类精度的需求，本文选用yolov3模型作为梨实时识别的基础模型，并对其改进。

2  试验与分析

2.1 试验平台

本试验平台主要配置为：Nvidia Geforce RTX2060 6G GPU，Intel corei7-9700k CPU，16GB RAM，Ubuntu16.04操作系统，Python3.6.0语言，CUDA10.0并行计算架构，Cudnn9.1深度神经网络加速库，Darknet深度学习框架。

2.2 模型参数配置

通过在性能与速度两方面对比tiny darknet与Darknet-53，本文采用Darknet-53作为整体模型的backbone网络。迁移学习可以降低模型训练时的过拟合问题和计算量，因此，为加快梯度的收敛速度，获得低泛化误差的初始模型，本文采用darknet53.conv.74预训练模型作为本试验的初始权重模型。Darknet-53框架下yolov3识别模型如图2所示。

yolov3识别模型的总损失函数包括定位损失（bbox预测）、置信度损失（confidence_loss）以及类别预测损失三部分。可表示为：

xy_loss = K.sum（xy_loss）/mf

wh_loss = K.sum（wh_loss）/mf

confidence_loss = K.sum（confidence_loss）/mf

class_loss = K.sum（class_loss）/mf

loss += xy_loss + wh_loss + confidence_loss + class_loss

本文采用修改后的yolov3-pear.cfg训练优化算法：初始学习率为0.08，权重衰减正则系数为0.0005，学习率策略为steps，学习率变动步长为30000，学习率变动因子0.1。批处理大小为32，动量项为0.9，最大迭代步数为50000，每迭代10000次保存一次训练模型。训练过程的损失图如图3所示，采用迁移学习方法，损失值快速收敛于0.1～0.2之间。

2.3 试验评价指标

通过采集训练过程中的输出参数：Region Avg IOU、Class、Obj、No Obj、.5R、.75R、count等，对其进行可视化分析，作为试验试验评价指标。其中交并集之比IOU（Intersection over Union）一个衡量模型检测特定的目标好坏的重要指标，其定义为：IOU = Area of Overlap/Area of Union。本试验IOU结果如图4所示，最终趋于0.9～0.95之间，说明矩形框跟目标重合度较高，符合要求。

通过试验分析，选择输出模型yolov3-pear_30000.weights作为最终模型，将验证集输入到模型中，验证识别性能。以下是部分识别结果，其分类精准度高，并准确输出坐标信息。

[（'circle'，0.9996659755706787，（248.02967834472656，

241.03109741210938，303.18804931640625， 275.822021484

375））];

[（'long'，0.9999970197677612，（433.10748291015625，414.2

956848144531，816.3567504882812， 724.862060546875））]

2.4 結果分析

将验证集的图像样本输入到训练所得的yolov3-pear_30000.weights模型中，定性分析模型的分类识别性能。针对不同果实状态、不同大小果实、不同光源条件等环境下的果实识别结果如图5所示，取得了较好的效果，但也呈现出该模型对小目标识别的不足，可能有以下原因造成：①针对小目标学习的样本量不足;②本试验将被遮挡重叠面积超过40%的果实目标放弃标注。

3  结论

本文采用深度学习理论对梨果实分类识别展开了研究，通过修改后yolov3模型进行训练试验，并进行验证，结果表明：在Darknet-53网络下，使用yolov3-pear.cfg训练优化算法能得到分类能力较高的模型yolov3-pear_30000.weights，并在最终分类使用中拥有较好的实时性和准确性，为分类机器人的分类抓取提供了良好的前提。

参考文献：

[1]徐东云.耕种规模与农机具的使用状况探析[J].价值工程，2012，31（30）：313-315.

[2]陈林求忠.论如何加强农机的安全管理[J].农业开发与装备，2020（03）：43.

[3]朱雪慧.机械化助推藜麦产业发展探讨——以天祝藏族自治县为例[J].南方农机，2020，51（05）：4，6.