陈恩会 褚姝频 王炜 程大勇 李兴东 赵银娣

摘要：针对梨小食心虫监测调查中存在的人工分类计数费时、费力且误差较大的问题，基于RetinaNet深度学习目标检测模型，构建了一种普适性更广的梨小食心虫智能识别计数方法。试验结果表明，RetinaNet目标检测模型对黏虫板上梨小食心虫的平均识别准确率达95.93%，平均计数准确率达95.62%，且该方法对拍摄条件要求低，普适性广，优于Faster R-CNN目标检测模型，完全可以在梨小食心虫监测调查中替代人工进行分类计数。

关键词：RetinaNet模型;梨小食心虫;目标检测;智能识别;计数

中图分类号：TP391.4 文献标志码： A

文章编号：1002-1302（2021）24-0205-04

收稿日期：2021-02-11

基金項目：徐州市重点研发计划（编号：KC17055）。

作者简介：陈恩会（1979—），男，江苏邳州人，硕士，高级农艺师，主要从事植物病虫害智能识别与防治研究。E-mail：enhui201@qq.com。

通信作者：赵银娣，博士，副教授，主要从事遥感数据处理、模式识别研究。E-mail：zhaoyd@cumt.edu.cn。

梨小食心虫[Grapholita molesta （Busck）]别称梨小蛀果蛾、东方果蠹蛾，属鳞翅目小卷叶蛾科，是我国发生最为严重的果树食心虫之一，可危害桃、梨、苹果、樱桃、杏等多种果树，造成植株折梢、蛀果等危害，严重影响果品质量和产量[1]。为了掌握梨小食心虫发生动态，目前生产上主要采取性信息素诱捕的方法进行田间监测，诱捕器以三角式、船型为主[2]。性信息素诱捕器内捕获的绝大多数都是梨小食心虫，但也有少量的其他害虫，在梨小食心虫发生高峰期时，性信息素诱捕器中单张性黏虫板上的总虫量高达几百头，人工对这些害虫进行分类计数，费时、费力，而且误差较大，难以满足当前生产实际需求。为解决这一问题，近年来许多学者做了大量的研究。陈梅香等研究设计了1种基于性诱的梨小食心虫自动监测装置，该装置对梨小食心虫平均诱捕率达89.58%，并基于机器视觉的方法，构建了害虫自动识别计数系统，平均识别计数准确率达94.11%[3]。但由于该系统只能处理与之相配套的自动监测装置拍摄的黏虫板图像，应用范围受一定限制。本研究拟利用深度学习技术，构建一种普适性更广的梨小食心虫智能识别计数方法。

目前，基于深度学习模型的目标检测算法主要可以分成两大类：第1类是二段式（Two-stage）检测模型，如Fast R-CNN[4]、Faster R-CNN[5]、Mask R-CNN等，这类模型将目标检测问题划分为2个阶段，首先进行候选区域提取，然后再对候选区域分类，通常能取得较好的精度，但速度较慢。张银松等对Faster R-CNN目标检测模型进行了改进，用于黏虫板上微小昆虫的识别，使用深度残差网络（ResNet-50）代替VGG16网络，用Soft-NMS算法代替传统的非极大值抑制（NMS）算法，改进后的模型对黏虫板上昆虫的识别准确率提高了4.2%，计数的准确率达90%以上[6]。陶震宇等为实现花生害虫图像的准确分类，调整了Faster R-CNN目标检测模型中的ResNet-50网络参数，调整后的网络模型对花生上9种常见害虫的综合识别率达90.7%[7]。第2类是一段式（One-stage）目标检测模型，如YOLO（You Only Look Once）[8]、SSD（Single Shot MultiBox Detector）[9]等，这类模型因为不需要进行候选区域提取，直接产生目标的类别概率和位置坐标值，经过单次检测即可得到最终的检测结果，所以速度比二段式检测模型快，但精度不够高。佘颢等针对目前主流的目标检测算法在虫害监控系统中识别速度慢、准确度低的问题，提出1种基于SSD模型的水稻害虫识别方法，改进后的SSD模型对水稻5种常见害虫的平均识别准确率达79.3%，比未改进的Faster R-CNN VGG16网络识别准确率最高提升6.6%，识别速度最高提升8倍[10]。苗海委等研究提出1种基于SSD模型的储粮害虫图像检测算法，该算法针对黏虫板图像背景复杂、害虫体积较小、姿态多样的特点，改进了SSD 的目标框回归策略、损失函数和特征提取网络结构，改进后的SSD模型算法可有效检测黏虫板上的害虫，检测平均正确率达到81.36%[11]。

Lin等认为，一段式模型检测精度不高的原因主要是训练过程中正负样本类别极度不平衡的问题[12]，提出了一个新的损失函数（Focal Loss），该函数是1种改进了的交叉熵（Cross-entropy，简称CE）损失函数，通过在原有的交叉熵损失函数中乘上使易检测目标对模型训练贡献削弱的指数式，成功地解决了在目标检测时，正负样本区域极不平衡而目标检测损失值易被大批量负样本所左右的问题，并基于此设计了一个新的目标检测模型──RetinaNet。RetinaNet模型不仅拥有一段式目标检测模型的速度，也能达到二段式目标检测模型的准确率，甚至超越了部分二段式的经典网络，因此，本研究使用RetinaNet目标检测模型开展梨小食心虫智能识别计数方法研究。

1 材料与方法

1.1 RetinaNet目标检测模型

RetinaNet目标检测模型的网络结构主要由特征提取网络、特征金字塔网络、分类+定位子网络构成，其结构示意见图1。

考虑到梨小食心虫数量多、体积小的特点，本研究中RetinaNet目标检测模型的特征提取网络使用ResNet50深度残差网络，ResNet50引入了残差块的设计，克服了由于网络深度的增加而产生的学习率变低、准确率无法有效提升的问题。

1.2 数据采集和预处理

数据图像的采集来自徐州市铜山区和新沂市的桃园，先使用船型性信息素诱捕器诱集梨小食心虫，等诱捕器内的黏虫板黏满梨小食心虫后，再把黏虫板拆下来，采用人工方式，使用普通相机或手机在自然环境下进行田间拍照。由于深度学习需要大量的数据集，为了后期模型更好地训练，本研究对采集到的数据进行增加噪音、剪切、旋转、改变色差、扭曲等操作，对数据进行增强，将试验数据集扩充至7 900幅图像，每幅图像大小为600×600像素。

然后，使用开源的LabelImg图像标注工具，人工依次标记每张图像中梨小食心虫的位置和类别，其他害虫和杂物不做标注，标注情况见图2。最后随机选择5 530幅图像构建训练集，1 580幅图像作为验证集，其他剩余图像作为测试集。

1.3 模型训练环境

本试验在Windows10操作系统上，采用Keras 2.0.3作为深度学习框架，以Tensorflow1.14为后端，使用图形处理器（GPU）对训练过程进行加速，加速库为CUDA10.0和cudnn7.4，所使用的硬件配置为i7-9700k处理器和NVIDIA GeForce RTX 2070S的显卡。

2 结果与分析

本试验在RetinaNet目标检测模型的基础上，设置训练参数如下：最大训练轮次为20 次，每轮迭代1 000次，学习率0.000 01。使用Keras深度學习框架，经过约6 h完成模型的训练，模型训练的损失曲线见图3。从图3可以看出，模型训练迭代到 20 000 次时，损失值基本收敛。

梨小食心虫目标识别结果以检测框的形式标注在图片上，其中包括目标类别标记和分类概率（P），本研究的计数方法为设定阈值N，当P>N时，认为该目标检测准确，此检测框参与统计，当 P≤N 时，认为该目标检测不准确，此检测框不参与统计。经过反复对比发现，在本研究中当阈值N设置为0.81时，检测结果最接近实际情况。检测结果见图4和表1。Faster R-CNN模型对测试集中的梨小食心虫平均识别准确率为91.02%，平均计数准确率为83.54%，在示例数据中识别出20头梨小食心虫，比人工计数少5头。RetinaNet模型对测试集中的梨小食心虫平均识别准确率为95.93%，平均计数准确率为95.62%，在示例数据中识别出26头梨小食心虫，比人工计数多1头。从表1可以看出，RetinaNet模型的识别效果优于Faster R-CNN模型。Faster R-CNN模型计数准确率不高的原因主要在于漏检，尤其是对图像边缘显示不完整的梨小食心虫的识别效果不好。RetinaNet模型很少出现漏检的情况，计数准确率也很高，但是存在一定概率的误检。

3 应用效果

在实际应用时，手机或照相机拍摄的整张梨小食心虫黏虫版的图像尺寸较大，一般在2 000×2 000 像素以上，为了获得最佳识别效果，本研究将原始大图分割为若干个600×600像素的小图，对于分割后高或宽不足600像素的部分，使用纯白色填充至600像素，然后把小图分别输入RetinaNet模型进行检测，检测后拼接还原成大图。实际应用中RetinaNet模型对2张黏虫板图像中梨小食心虫的检测结果见图5，其识别和计数的平均准确率为97.2%，平均召回率为94.5%，详细统计结果见表2。

4 结论

本研究探讨了RetinaNet深度学习目标检测模型对普通相机或手机在自然条件下拍摄的黏虫板上梨小食心虫的识别计数效果，并将该模型的识别计数结果与Faster R-CNN模型进行了比较，试验结果表明，RetinaNet模型对黏虫板上梨小食心虫的识别计数准确率较高，而且该方法对拍摄条件要求低，普适性广，完全可以在梨小食心虫监测调查过程中替代人工进行分类计数。当然，RetinaNet模型在识别计数时仍然存在一定概率的误检和漏检，后续研究将通过丰富样本库，适当减少数据增强比例等方法对本模型进行改进。

参考文献：

[1]范仁俊，刘中芳，陆俊姣，等. 我国梨小食心虫综合防治研究进展[J]. 应用昆虫学报，2013，50（6）：1509-1513.

[2]王荣辕，刘广勤，李佰峰，等. 性信息素诱捕器不同悬挂方式对梨小食心虫诱杀效果[J]. 江苏农业科学，2021，49（6）：99-102.

[3]陈梅香，郭继英，许建平，等. 梨小食心虫自动监测识别计数系统研制[J]. 环境昆虫学报，2018，40（5）：1164-1174.

[4]Girshick R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision （ICCV）. Santiago：IEEE，2015：1440-1448.

[5]Ren S Q，He K M，Girshick R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[6]张银松，赵银娣，袁慕策. 基于改进Faster-RCNN模型的粘虫板图像昆虫识别与计数[J]. 中国农业大学学报，2019，24（5）：115-122.

[7]陶震宇，孙素芬，罗长寿. 基于Faster-RCNN的花生害虫图像识别研究[J]. 江苏农业科学，2019，47（12）：247-250.

[8]Redmon J，Divvala S，Girshick R，et al. You only look once：Unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （ CVPR）. Las Vegas：IEEE，2016：779-788.

[9]Liu W，Anguelov D，Erhan D，et al. SSD：Single shot multibox detector[C]//European Conference on Computer Vision. Berlin：Springer，2016：21-37.

[10]佘 颢，吴 伶，单鲁泉. 基于SSD网络模型改进的水稻害虫识别方法[J]. 郑州大学学报（理学版），2020，52（3）：49-54.

[11]苗海委，周慧玲. 基于深度学习的粘虫板储粮害虫图像检测算法的研究[J]. 中国粮油学报，2019，34（12）：93-99.

[12]Lin T Y，Goyal P，Girshick R，et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.