基于Faster-RCNN 深度学习的茶叶嫩芽多维度识别及其性能分析

2023-02-27许宝阳高延峰

农业装备与车辆工程 2023年2期

许宝阳，高延峰

（201620 上海市上海工程技术大学上海市大型构件智能制造机器人技术协同创新中心）

0 引言

目前，我国茶叶采摘方式仍以人工手采为主，机械采摘为辅。但人工手采茶叶面临着采摘时间长、效率低下、人工费用高等问题。而当前市场上的机械化采茶大部分采用一刀切的方式，切除下来的茶叶嫩芽老叶混杂，采摘目的性低，茶叶完整度低，可用度低，浪费大量原材料，一定程度上也造成经济损失。基于此，研究一种识别度高、鲁棒性强的智能化茶叶嫩芽识别技术，实现采茶机器人智能化就显得尤为重要。

茶叶采摘技术的高低决定了茶叶品质的好坏，因此茶叶采摘比一般农作物采摘困难较大。随着人工智能的兴起，机器学习和深度学习也逐渐走进人们的视野。能够对茶叶精确识别与分类是实现茶叶精细化采摘的基础，目标检测技术的发展让该领域也取得了优秀的成果。在国内，许高建等[1]对相同特征提取的不同网络模型进行对比，最后模型识别效果良好；邵明[2]以龙井茶为研究对象，利用视觉技术中的算法，实现茶叶嫩芽的自动检测与分类识别；王琨等[3]通过增减卷积核进一步优化经典卷积神经网络算法来识别茶叶状态，利用图片训练网络最终能正确识别；张乐等[4]利用多种深度网络对油菜田间杂草进行识别，最后采用最优模型的目标识别精确度达到83.90%；邵佩迪等[5]对茶叶嫩芽进行滤波去噪、图像分割手段，利用半全局匹配算法SGBM 获得茶叶嫩芽的三维坐标，对机器人的研发具有一定借鉴意义；李颀等[6]利用了深度学习SSD_MobileNet 卷积神经网络对番茄主要器官检测，颇具成效。在国外，Qian 等[7]提出了一种基于VGG16 的改进模型来识别苹果叶病害，最后的叶片分类准确率达到99.01%，与经典VGG16模型相比，准确率有效提高；Antonio 等[8]采用光谱法和质谱法测量各国茶叶中的微量金属，以此为依据，利用主成分分析、聚类分析、线性判别分析等技术实现茶叶分类；Mukilan 等[9]设计了基于黑寡妇优化的深度卷积神经网络学习模型从视频帧中检测出人和物体，并对其性能进行分析评价等。

现有文献多是用网络模型对茶叶进行单一识别，缺乏识别针对性。另外，相比传统目标检测存在稳定性差、识别窗口选择冗余、没有针对性等多个主要问题。深度学习适应性强，鲁棒性高，可移植性好，覆盖范围广，因此本文在对比分析多个深度学习网络模型性能基础之上，采用最优模型对茶叶嫩芽进行多维度识别，同时根据影响识别因素进行分类比较，得出最佳结论，为后面的实现现代化智能化采茶机器人技术产业化提供技术参考。

1 茶叶嫩芽图像数据集的建立

1.1 茶叶嫩芽图像拍摄与筛选

为了保证数据有效性，本研究所用到的图片均在茶园实地拍摄，拍摄使用的是高清相机，照片像素均为4 032×3 024，为了减少内存消耗，统一将图片缩小为640×480。经过筛选最终保留可用图片，按照最佳经验分配比8∶2，训练集图片达到 5 014 张，测试集图片达到1 250 张。

1.2 茶叶嫩芽的标注与难点

为了避免出现训练过拟合现象，需要获得足够多的样本。考虑到后期需要分类对比，故从茶叶的远近景、姿态、环境和角度多维度拍摄，如图1（a）—图1（d）所示。对图像中的茶叶嫩芽进行标注是实现嫩芽识别的关键步骤。本实验中用的标注软件是labellmg，标注文件以XML 形式保存，文件内包含了所标注的嫩叶目标名称和位置等信息。

在自然环境下，户外茶叶易受到恶劣环境破坏，导致茶叶嫩芽折断或损坏，这为识别带来了一定的困难。同时，图片的拍摄好坏不仅受到气象的影响，也受到茶叶本身及周围的影响。茶叶具有季节性，一旦错过最佳时期，嫩芽颜色就会逐渐变深，与周围老叶相似，此时也为识别增加难度，如图1（e）—图1（f）所示。

图1 茶叶嫩芽图像集Fig.1 Image set of tea buds

2 深度学习网络模型建立与分析

2.1 网络模型的建立

以SSD VGG-16 模型和Faster R-CNN ResNet-50 模型为对象，构建适合茶叶嫩芽检测识别的深度学习网络模型。构建的SSD 模型和Faster R-CNN 模型分别如图2 和图3 所示。

图2 SSD 深度网络模型结构图Fig.2 SSD deep network model structure diagram

图3 Faster R-CNN 深度网络模型结构图Fig.3 Faster R-CNN deep network model structure diagram

SSD 模型是在VGG16 的基础之上增加新的卷积层来实现多尺度特征图像检测[10]。原始图片大小为640×480×3，其中640×480为像素，3为通道数。一般情况下，所构建的模型输入有300×300×3 和512×512×3 两种，这里以300×300×3 为例。图片输入时会自动缩放到300×300×3，接着从新增的卷积层中提取特征图，每个特征图还会产生不同数目的先验框，最后一共生成8 732 个先验框，另外还需要对特征图进行卷积和非极大值抑制得到最后的检测结果。

Faster R-CNN 是在R-CNN 和Fast R-CNN 的基础之上演变而来。R-CNN 算法在运行时速度慢，效率低，这是因为该算法会多次重复提取相同的特征，从而占用大量内存。Fast R-CNN 是将整张图一次提取，虽然能提高目标检测的速度，但该算法仍然有因选择性搜索所有候选框而导致耗时的痛点，而Faster R-CNN 是在Fast R-CNN 基础之上构建一个小的网络，称之为区域预测网络RPN，直接生成预测区域来得到目标候选框,可以极大地提升运行速度和检测精度[10]。

2.2 网络模型性能分析

对所构建的网络模型性能进行了分析。图4 是2 个网络模型在训练过程中的Loss 值变化情况。从图4 可知，2 种模型初始时loss 值都比较大，随着迭代次数增加，Loss 值呈现下降趋势。相比Faster R-CNN 模型，SSD 模型Loss 初始值为18.573，后续Loss 值在5.0～7.5 之间波动，波动明显较大。

图4 整体损失对比图Fig.4 Comparison of total loss

Faster R-CNN 模型Loss 初始值为1.631，后续Loss 值在0.1～0.5 之间波动。在迭代12 000 次左右时，两模型都出现较大干扰，SSD 模型之后始终处在波动状态，这也说明了该模型鲁棒性较弱，不太适用于茶叶嫩芽的识别。而Faster R-CNN 模型能够很好地克服干扰，迅速调整训练权重，使模型逐渐收敛，最终收敛达到0.108 左右。

损失函数曲线是体现模型性能优劣的指标之一，但loss 值与识别率和精准率并没有直接对应关系，故在本节实验中，分别提取迭代10 000 次，20 000 次和30 000 次的模型来识别茶叶嫩芽，分别计算识别率、精确率和置信度，结果如图5 所示。由图5 可知，随着迭代次数的增加，SSD 模型识别率始终处在23%左右，精确率随着次数增加却下降了10%左右，置信度虽有所提高但最高也只达到75.00%。相比SSD 模型，Faster R-CNN 模型的识别率都在80%～86%，精确率和置信度都随迭代次数的增加而提高，精确率从83.33%提高至87.30%，置信度从76.30%提高至87.65%。识别率和精确率是选择模型的首要判断因素，而置信度在实际操作可根据自身需求设置阈值，保留合格置信度即可。前文提到，SSD 模型对图片进行自动缩放会影响精度，对图片分割成多个方形图形，有可能导致目标特征被分割到多个图中，这也会影响精度，故本实验最终选择Faster R-CNN 模型来进行茶叶嫩芽的识别。

图5 不同迭代次数下的识别率、精确率和置信度Fig.5 Recognition rate,accuracy rate and confidence under different iteration times

3 实验结果分析

3.1 单株与多株的识别

将测试集图片按嫩芽个数分为单株和多株。定义图中有1 个嫩芽的为单株，如图6（a）所示；嫩芽个数大于1 个的为多株，如图6（b）所示。经测试计算后识别结果如表1 所示。从表1 看出，2 组的精确率和置信度相差不多，但单株的识别率比多株的识别率高16.47%，召回率提高了10.34%。

表1 单株与多株识别结果统计Tab.1 Statistics of single plant and multiple plants recognition results

图6 茶叶嫩芽的单株与多株Fig.6 Single plant and multiple plants of tea-buds

一般来说，精确率代表正确识别芽数与可识别芽数之间的比例关系，召回率代表正确识别芽数与嫩芽总数之间比例关系。单株识别率和召回率较高是因为单株大多位于图片中心，清晰度高，识别度高，而多株图片中，相机定焦功能受限，有部分嫩芽位于焦距之外或图片边缘导致模糊现象，如图6（b）中嫩芽1 要比嫩芽2 更清楚更明显，因此多株识别率和召回率较低。

3.2 一芽一叶和一芽两叶的识别

虽然茶叶长势姿态千奇百怪，但最常见的是一芽一叶和一芽两叶这2 种姿态，现将测试集图片按嫩芽形态分为一芽一叶和一芽两叶。中间的嫩芽芯被一片嫩叶包裹的是一芽一叶，如图7（a）所示；中间的嫩芽芯被左右两片嫩叶包裹的是一芽两叶，如图7（b）所示。为了多角度测试该网络模型的识别性能，本节实验将分别从整体集、单株集和多株集计算4 项指标。经测试计算后，结果如表2 所示，表格类别中“一”表示一芽一叶，“二”表示一芽两叶，。

图7 茶叶嫩芽的不同形态Fig.7 Different forms of tea-buds

从表2 得出，在整体集中，两组的识别率和置信度都相差不大，但一芽一叶的精确率和召回率都偏高。在单株集中，有部分一芽一叶出现遮挡情况，故识别率稍低，但可识别嫩芽特征明显，精确率能达到100%，而一芽两叶的嫩叶有不集中现象，导致模型错误分类，精确率较低。在多株集中，嫩芽分布较散，多数出现边缘嫩芽模糊情况，以至于多株集平均识别率都低于其他两集，这也是上节实验多株识别率低于单株识别率的主要原因。其中一芽一叶的识别率比一芽两叶识别率高21.49%，因为一芽两叶的数量较多，模糊嫩芽也会稍多，故识别率偏低，而一芽一叶精确率低是因为模型区分一叶和两叶界限不十分明确，有时会因为嫩芽附近颜色浅的叶子或嫩茶枝误识别为两叶，从而导致精确率不及一芽两叶。

表2 一芽一叶和一芽两叶的识别结果统计Tab.2 Statistics of recognition results of one bud-one leaf and one bud-two leaves

3.3 不同环境下的茶叶嫩芽识别

将测试集图片按嫩芽环境不同分为正常、昏暗和明亮。正常模拟晴天环境，昏暗模拟阴天环境，明亮模拟光线较强环境。正常拍摄亮度值为1.0，昏暗情况亮度值为0.6，明亮情况亮度值为1.4，亮度变化值均在40%，如图8 所示。经测试计算后，结果如表3 所示。从表中看出，三组的精确率接近，但明亮环境和昏暗环境的识别率和召回率远低于正常环境下的识别率和召回率，可见天气环境对茶叶嫩芽识别影响较大。昏暗的置信度较高是因为对于无法识别的嫩芽均不进行标注置信度，而正常环境下有处于边缘的嫩芽被识别，此时置信度较低，导致平均置信度较低。

图8 茶叶嫩芽的不同环境Fig.8 Different environments of tea-buds

表3 不同环境下的识别结果统计Tab.3 Statistics of recognition results in different environments

3.4 不同角度下的茶叶嫩芽识别

将测试集图片按嫩芽拍摄角度分为0°、45°和90°3 组，如图9 所示。经测试计算，结果如表4 所示。

图9 茶叶嫩芽的不同拍摄角度Fig.9 Different shooting angles of tea-buds

表4 不同角度下识别结果统计Tab.4 Statistics of recognition results from different angles

从表4 看出，45°拍摄对茶叶嫩芽的精确率、召回率和置信度都比较高，而识别率却比90°的识别率略低。这是因为茶叶嫩芽多长在茶树枝的顶端，45°拍摄时茶叶相互遮挡较多，识别难度偏大，而90°拍摄遮挡物较少，故识别率稍高。0°和90°拍摄的精确率、召回率和置信度较低，这是因为0°拍摄嫩芽多为“1”字状，90°拍摄嫩芽多为点状或横条状，能够获取的特征不如45°拍摄明显，故各项指标不如45°拍摄指标。

从上述分类实验结果得知，该模型对不同情况下的茶叶嫩芽均识别良好，尤其是在晴天且45°下拍摄对单株的茶叶嫩芽识别效果最好。本实验图像处理标注时，用“yi”表示一芽一叶，用“liang”表示一芽两叶。具体的茶叶嫩芽识别结果如图10所示。后续采茶机器人若不需要将茶叶分类，识别率参考意义较大，若将茶叶分类采摘，识别率和精确率参考意义较大。本研究实验对后续采茶机器人能够实现精细化采摘提供一定帮助。