邵明月 张建华 冯全 柴秀娟 张凝 张文蓉

摘要：植物病害准确检测与识别是其早期诊断与智能监测的关键，是病虫害精准化防治与信息化管理的核心。深度学习应用于植物病害检测与识别中，可以克服传统诊断方法的弊端，大幅提升病害检测与识别的准确率，引起了广泛关注。本文首先收集和介绍了部分公开的植物病害图像数据集，然后系统地综述了近年来深度学习在植物病害检测和识别中的研究应用进展，阐述了从早期检测和识别算法到基于深度学习的检测和识别算法的研究进展，以及各算法的优点和存在的问题。调研了相关研究文献，提出了光照、遮挡、复杂背景、病害症状之间相似性、病害在不同时期症状会有不同的变化以及多种病害交叠共存是目前植物病害检测和识别面临的主要挑战。并进一步指出，将性能更好的神经网络、大规模数据集和农业理论基础相结合，是未来主要的发展趋势，同时还指出了多模态数据可以用于植物早期病害的识别，也是未来发展方向之一。本文可为植物病害识别的深入研究与发展提供参考。

关键词：植物;叶部病害;深度学习;病害检测;识别;卷积神经网络;病害图像数据集

中图分类号：S432;TP391.4;TP183      文献标志码：A               文章编号：SA202202005

引用格式：邵明月， 张建华， 冯全， 柴秀娟， 张凝， 张文蓉.深度学习在植物叶部病害检测与识别的研究进展[J].智慧农业（中英文）， 2022， 4（1）：29-46.

SHAO Mingyue， ZHANG Jianhua， FENG Quan， CHAI Xiujuan， ZHANG Ning， ZHANG Wenrong. Research prog‐ress of deep learning in detection and recognition of plant leaf diseases[J]. Smart Agriculture， 2022， 4（1）：29-46.（in Chinese with English abstract）

1 引言

植物病害是影响植物生长的最复杂多变且难以克服的因素之一，是一种全球农业生产和生态安全的生物灾害。发生植物病害不仅影响植物的正常生长，造成农产品产量与品质的降低，还会带来粮食安全问题[1，2]。近年来，受全球气候变暖、农业水资源匮乏及农业耕地面积减少等因素影响，植物病害变得更加普遍和频繁[3]。据报道，每年仅由植物病害造成的全球经济损失高达2，200亿美元[4]。加强对植物病害的防治和管理是保证农作物高产、农产品优质的关键。

植物病害防治的关键是能够及时准确地检测病害危害区域，并对其病害类型进行辨识[5]。植物病害种类繁多，全世界已有990多种植物病毒被确认[6]。植物叶片感染病毒、真菌或生理病变后，感染部位的外部形态特征和内部生理结构均会发生变化，外部发生如形变、褪色、卷曲、腐烂、变色等，内部主要为水分和色素含量变化等[7]。由于不同病害之间的受害症状呈现模糊性、复杂性和相似性，加之部分农民的科技、文化素质普遍偏低，不能精确诊断并掌握植物病害的发生与发展，往往在植物病害严重时才大剂量地喷洒农药，容易错过病害最佳防治时期，不但造成农作物大量减产，还严重污染环境[8，9]。因此，如何快速、简便、准确地检测植物病害发生区域并对其病害种类进行识别，为病害防治提供必要信息，已成为植物种植面临的重要问题。

深度学习概念在2006年由深度学习之父 Hinton 正式提出[10]，但受当时硬件条件限制，一直未得到学术界重视。直到2012年，Kri‐zhevsky等[11] 在图形处理器（Graphics Process‐ing Unit ， GPU ）上实现了一种著名的卷积神经网络 （ Convolutional  Neural  Networks ， CNN ）——AlexNet，该网络在当年斯坦福大学主办的图像识别挑战赛（ImageNet Large-Scale Visual Recognition Challenge）上的分类精度碾压了其他早期计算机视觉方法。此后，各种 CNN 被陆续提出，深度学习得到快速发展。

深度学习是一种模拟人脑进行分析学习的神经网络，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，解决很多复杂的模式识别难题[12]。相对于浅层学习，深度学习具有学习能力强、覆盖范围广、适应性好、性能上限高、可移植性好等优点[13]。深度学习作为新人工智能崛起的代表，不断取得重大进展，很好地解决了人工智能界很多年来一直努力但仍没有得到重要进展的问题[14]。近年来，深度学习技术逐渐被引入到植物病害检测与识别，在该领域获得了较快的发展，并涌现出大量的研究成果，已成为本领域研究热点。本文对近年来基于深度学习的植物叶部病害的检测和识别研究进行了综述，分别从植物病害图像数据集、植物病害目标检测研究进展和植物病害识别研究进展等三个方面进行阐述，总结出植物病害检测和识别目前面临的挑战，并对未来的发展趋势进行了展望。

2 植物病害图像数据集

数据集是构建深度学习模型的基础，数据集的质量和大小决定着深度学习模型能否构建成功[15]。高质量的数据集往往能够提高模型训练的质量和预测的准确率，也可有效地提高神经网络模型的泛化能力。一个更高质量的模型可以更精准地区分植物病害的不同类型及危害程度，从而提供更科学的防治措施。据调查，目前已形成了多个已公开的植物病害图像数据集，具体如表1所示。

2.1国外主要植物病害圖像数据集

（1） PlantVillage。该数据集是 David Hudhes和 Marcel Salathé联合创建的公开数据集，是目前被使用次数最多的数据库之一。PlantVillage囊括了14种植物、26种病害，共38个类别，包含54，036幅图像，非常适用于植物病害检测和识别模型的训练，但PlantVillage中的图像大多是在实验室或单一背景下拍摄的，复杂自然条件下拍摄的图像较少。

（2） Plant Pathology 2020- FGVC7。主要是高质量带注释的苹果图像，包括苹果黑星病、苹果锈病、多种病害共存和健康叶片共3651张图像。其中苹果黑星病图像1200张，苹果锈病图像1399张，多种病害共存图像187张，健康叶片图像865张。

（3） Cucumber Plant Diseases Dataset 。该数据集由 Karim Negm分享，共包含695张田间自然条件下拍摄的黄瓜有病的和健康的图像。

（4） New  Plant  Diseasea  Dataset 。由SamirBhattarai使用数据增强技术重新创建的数据集。该数据集由38个不同的类别组成，包括健康叶片和非健康叶片共87，000张，但该数据图像背景为单一背景。

（5） PlantDoc。由 Singh等[16]创建，共包含2598张图像，涵盖13种植物，17种病害类型。

（6） Rice Diseases Image Dataset 。涵盖水稻褐斑病、叶斑病、铁甲虫病及健康叶片共5447张图像。

（7） PlantPathology Apple Dataset 。由 Plant‐ village衍生而来，包括苹果黑星病、黑腐病、雪松苹果锈和健康叶片4种，共包含3171张图像。

（8） New Plant Diseases Dataset （Augment‐ ed）。该数据集是一个相关番茄的数据集，基于Plantvillage数据，经数据增广技术衍生而来，包括9个番茄病害和1个健康叶片，共 22， 900张图像。

（9） PlantifyDr Dataset 。该数据集包含10种不同植物类型，主要为苹果、甜椒、樱桃、柑橘、玉米、葡萄、桃子、土豆、草莓和番茄。37种植物病害类型共125，000张图像。

（10） Plant Disease Recognition Dataset 。该数据集包含健康、粉状、生锈3种共1530张图像。

（11） Corn Leaf Diseases （ NLB ）。包括患病和健康玉米叶片共4， 115张。

2.2国内植物病害图像数据集

（1） PDD271。Liu 等[17] 收集的植物病害数据集 PDD271，包括220，592幅植物叶片图像，涵盖271种植物病害类别。其中每个植物病害类别至少包含500张图像，200多株植物。且每张图像采集时都由专家及时标注。采集后，由未参与标注工作的专家进行检查，以保证标签的正确性。

（2） 农业病虫害研究图库（ IDADP ）。该数据集是由中国科学院合肥智能机械研究所、亚热带农业生态研究所和遥感与数字地球研究所共同建设的综合数据库，涵盖大田作物、水果和蔬菜等多种植物类型及真菌、细菌和病毒等多种病害种类。每种病虫害包括几百到几千张图像。图像绝大部分用单反相机拍摄，分辨率不小于两千万像素（6000×4000，5472×3648），少部分用手机拍摄，分辨率像素为4128×2322。而且绝大多数图像都是从自然条件下拍摄的，可应用于复杂自然条件下植物病害的识别和检测。

（3） 植物疾病症状图像数据库 （ PDDB ）。该数据集是一个免费的数据库，涵盖21种植物，171种病害类型，共收集接近5万幅图像。85%的图像是在真实条件下拍摄，其他图像在可控条件下拍摄。图像全部由数码相机和移动设备拍摄，分辨率在1～24万像素之间[18]，且都经过了专家标注。

（4） 水稻叶病数据集。该数据集图像是在阳光直射下以白色背景拍摄的，主要为水稻白叶枯病、褐斑病和黑穗病，每种病害均拍摄40张，共120张。

3 植物病害目标检测研究进展

植物病害目标检测是利用计算机视觉技术在复杂自然条件下检测出植物病害侵染区域及其准确位置，是植物病害准确分类识别和病害危害程度评估的前提，也是植物病害区域准确定位并引导植保装备对靶喷药的关键[19]。

早期植物病害目标检测算法采用滑动窗口策略选出候选区域，然后提取候选区域特征，最后使用分类器进行分类，从而获得目标区域，如 V-J （ Viola-Jones ）检测、方向梯度直方图（ His‐togram of Oriented Gradient ， HOG ）检测和有关可变形部件模型 （ Deformable  Part  Model， DPM ）算法等。滑动窗口方法是设置不同的尺度和宽度对图像进行遍历，虽然这种方法应用于病害定位检测可以不错过任何一个病害区域目标，但产生的多余候选窗口会带来较大的计算量，且将病害图像全部遍历一遍要花费较多时间，导致检测的实效性差[20]。另外，候选区域的特征提取采用手工方式，提取的特征較多集中在病害颜色、形状等底层特征，造成病害检测的鲁棒性差。分类器采用Adaboost、支持向量机（Support Vector Machine ， SVM ）等进行识别，识别速度慢、准确率低。

3.1基于目标检测框架的植物病害检测

基于深度学习的 R-CNN （Region-CNN ）系列、YOLO （You Only Look Once）、 SSD （ Sin ‐gle Shot MultiBox Detector）以及CenterNet等新检测算法显著优于早期的植物目标检测算法。基于深度学习的目标检测框架可以分为二阶检测器（ Two-stage） 和一阶检测器 （ One-stage） 两大类[10]。

3.1.1 基于二阶检测器的植物病害检测

二阶检测器首先使用候选框生成器生成稀疏的候选框集，并从每个候选框中提取特征，然后使用区域分类器预测候选框区域的类别（如图1所示）。如基于区域建议的 CNN ，包括 R-CNN、Fast-RCNN 、Faster-RCNN 及其变体。2014年，Girshick等[21]在一篇会议论文中提出了 R-CNN，首次使用卷积神经网络提取图像特征，开启了利用深度学习进行目标检测的大门。在 R-CNN 基础上，Girshick [22]提出了 Fast-RCNN ，解决了 R-CNN 在候选区域选择的过程中出现大量重叠框的问题。经过 R-CNN和 Fast RCNN的积淀，Ren等[23]在 2016年提出了 Faster-RCNN ，将特征提取、边界框回归和分类集成到一个网络中，使综合性能有较大提高，在检测速度方面尤为明显。Fuentes 等[24]应用Faster-RCNN+VGGNet/ResNet的检测框架对番茄病虫害区域进行定位检测，其图像库中类别有10种病害，平均精度均值（mean  Average  Precision ，mAP ） 值达到了85.98%，从此 Faster-RCNN逐渐被应用到植物病害区域检测上。刘阗宇等[25，26]采用 Faster-RCNN框架，分别采用 ZF Net 和VGGNet作为骨干网络，能准确定位葡萄叶片和叶片上的病斑。Ozguven和Adem [27]通过改变 Faster-RCNN 模型的参数实现对甜菜叶斑病的自动检测，对155幅甜菜图像进行了训练和测试，获得了95.48%的总体分类正确率。Bari等[28]使用 Faster-RCNN对水稻患病叶片图像和健康叶片图像进行检测，识别叶片患病准确率均在98%以上，表明 Faster-RCNN 可以相对准确实时地检测水稻常见病害。Zhou 等[29] 提出了一种基于 FCM-KM 和 Faster-RCNN 融合的水稻病害快速检测方法，以 3010幅图像为研究基础数据集，得到稻瘟病、白叶枯病和纹枯病的检测精度分别为96.71%、97.53%和98.26%，检测时间分别为0.65、0.82和0.53 s。Xie等[30]提出了一种基于改进的深度卷积神经网络——Faster DR-IACNN 模型，在自建的葡萄叶疾病数据集 （Grape  Leaf  Disease  Dataset，GLDD ）上展开研究，并引入了 Inception-v 1模块、Inception-ResNetv2模块和压缩和激励网络（Squeeze-and-Excitation Networks ，SENet ），该模型具有较高的特征提取能力，mAP精度为81.1%，检测速度为15.01 f/s 。上述研究表明，基于二阶检测器的植物病害目标检测，在检测准确度方面获得了较好的病害检测效果，但由于检测速度慢，只能用在实时性要求不高的场景中。

3.1.2 基于一阶检测器的植物病害检测

一阶检测器直接对特征图上每个位置的对象进行类别预测，不经过二阶检测器中的区域建议步骤（具体步骤见图2），如YOLO、SSD及其变体。YOLO 是 Redmon 等[31]于 2016 年提出的一种一阶段检测算法。YOLO 的设计不同于Faster-RCNN，它将检测过程整合为单个网络同时实现目标区域预测和分类的回归过程。YOLO 并不生成候选框，而是将图像划分成网格，以网格为中心确定目标边界和类别，与 Faster-RCNN 相比，YOLO 在满足更高精度的同时大大提高了检测速度。 Bhatt等[32]在复杂自然条件下的茶园采集图像，并提出了一种基于YOLOv3的病虫害检测方法，在确保系统实时可用性的同时，实现了mAP为 86%，交并比（Intersection-over-Union，IOU）为 50%。Maski和Thondiyath[33]提出了几个轻量级的 YO‐LO 模型，用于移动农业机器人对植物病害的检测，主要针对木瓜环斑病建立了一个大规模的数据集，在此基础上 tiny-YOLOv4 算法的mAP最高可达 99.9%。MobileNetV2-YOLOv3 算法在疾病严重程度检测方面的最高mAP约为98.39%。李昊等[34]基于改进的 YOLOv4实现柑橘病虫害叶片检测，并根据检测目标框实现柑橘病害叶片的局部分割，结合DenseNet算法对分割出来的叶片进行病害检测，检测准确率达到95.46%。

针对 YOLO 的缺陷， Liu 等[35] 于2016年提出了 SSD 。相较于 YOLO ， SSD的改进主要包括3个方面：一是提取不同尺度的特征图，解决了 YOLO不能准确检测小目标的问题;二是设计了多个不同尺度的先验框;三是在 VGG16网络中增加6个卷积层来预测边界框偏移量，解决了 YOLO定位不准的问题。Sun等[36]提出了一种可部署在移动设备上的轻量级的 MEAN-SSD 病害检测模型。 MEAN-SSD 是通过引入 MEAN 块（Mobile End AppleNet block）和所有3×3卷积核都替换为 MEAN 块的 Inception 模块构建而成，mAP能够达到83.12%，速度达到12.53 f/s 。Sun 等[37]提出了一种多尺度特征融合的改进的 SSD 算法，该方法结合了数据预处理、特征融合、特征共享、疾病检测等步骤，用于检测复杂背景下玉米叶枯病，mAP比原 SSD 算法的mAP高了20%左右（从71.80%提高到91.83%）。同时传输速度也从24 f/s提高到28.4 f/s ，达到了实时检测25 f/s 的标准。Selvaraj 等[38]对比了几种著名目标检测框架和不同骨干网络组合对香蕉病虫害检测的效果，数据库包括了10种香蕉病虫害，共3万余张图像，发现 SSD框架和MobileNet v1的组合检测总体效果最好。虽然经过不断地改进和优化，一阶段检测算法在植物病害精度和速度上都有所提高，但锚框的存在仍然令这种检测方法不够精简。

3.2基于无锚框的植物病害检测

2019年，Zhou等[39]提出了一种无锚框的检测算法——CenterNet，该算法是在CornerNet的基础上改进而来，由原来对两个关键点（即图像的左上角和右下角）的检测改为对图像中心点的估计。由于该算法去掉了生成锚框这一操作，并且由热力图估计损失，省去了一些耗时的操作，所以很大程度上提升了检测性能。目前，基于CenterNet的病害检测研究还较少，但CenterNet已被证明可以应用于自然条件下的目标检测。夏雪等[40]通过CenterNet检测网絡与MobileNet v3相结合，构建一个新的网络——M-CenterNet，对自然条件下果树上的苹果进行检测。并与 Cen‐terNet和 SSD做对比，发现所提网络不论是检测精度还是检测速度上都比CenterNet和 SSD 要好很多，尤其是检测速度上，比这两种网络提高了1倍左右。Albattah等[41]提出了一种改进的 Cen ‐terNet算法，以PlantVillageKaggle数据库为主要数据来源，以 DenseNet-77为基础网络对深层次关键点进行提取，然后分别对番茄、苹果、葡萄等在内的14种植物26类病害及12类健康叶片进行识别，从多方面分析得出，改进的CenterNet方法比目前最新的EfficientNet方法能够更准确地识别植物病害。无锚框的检测算法在性能上优于基于锚框的检测算法，是今后病害区域检测方面的主要研究方向。

3.3植物病害目标检测分析与展望

近年来植物病害检测研究进展见表2～表4。可以看出，针对大豆、玉米、马铃薯、苹果、葡萄等植物病害目标检测，一阶段检测算法和二阶检测算法都获得了较好的检测效果。但目前文献表明，在病斑边界框（bounding box）标识时较为混乱，一些文献对一张叶片上大的病斑单独框出，一些文献则对小且多的病斑往往采用一个框，对没有明显边界的病害则往往不考虑在病害检测任务范畴内。同时，对植物生长的复杂自然场景中进行病害目标检测研究较少，这种场景下密集、小目标检测算法有待进一步研究，同时还需应对复杂自然条件下可能出现的光照、阴影、复杂背景、遮挡、叠加、小病斑检测等难点。

如今已提出的病害检测算法均对特定的数据集有较好的检测效果，但若数据集发生了改变，则可能会导致检测效果不佳，所以在未来，提高模型的鲁棒性是值得研究的一个方向。另外，早期病害的检测研究仍处于空白阶段，主要因为数据采集的困难。早期病害部位信息较少，研究者无法保证准确识别病害种类与病斑位置，但早期病害检测更有利于防止病菌的传播与发展，有效防治植物病害，所以今后应重视开展对早期病害检测的开发研究，以期达到及时防治、减少损失的目的。目前对植物的病害检测还处于有人工干预的半自动化过程，探索全自动化的病害检测方法也将是未来主要研究方向之一。

4 植物病害识别研究进展

植物病害识别是指对病害图像进行处理、分析和理解，以辨识不同种类病害对象的技术，是植物病害及时有效防治的主要依据。

早期植物病害识别方法中，病害特征的提取和选择是依据先验经验人工完成的，识别性能好坏主要取决于所提取与选择的特征是否能充分表达待识别特定对象的信息和具有高可分性，以及与后续分类器的匹配性。传统的图像特征包括形状、颜色、纹理特征等，曾被广泛地用于植物病害的分类。形状特征包括基于物体边界形状的方法，如傅里叶形状描述符以及基于区域的形状表示方法，如形状不变矩、小波变换方法、小波轮廓描述符等。颜色特征包括图像各个颜色分量的一阶/二阶灰度、直方图、均值等参数;纹理特征如灰度共生矩阵、分形特征、小波、Gabor等，以及描述分形特征的分形维数，与图像的粗糙程度直接相关，用于对病斑纹理变化的描述。为提高识别性能，常见的策略是采用各种图像特征的组合以及分类器的集成。人工设计提取优秀的识别特征的要求较高，需要从事此项工作的人具有丰富的工程技能和领域专业知识，但受植物类型、生长阶段、病害种类、环境光照等因素的影响，植物病害症状复杂，人工无法对特征设计进行细致的优化，导致复杂场景下的植物病害识别效果不佳。

深度学习可以使用通用学习程序从原始数据（如图像像素）中自动学习特征，能避免人工特征工程的局限。近年来，作为深度学习核心的各种卷积神经网络被陆续提出，如 ZF Net （2013）、VGG  （2014）、GoogleNet  （2014）、ResNet（2015）、DenseNet （2017）、MobileNet （2017）以及EfficientNet （2019）等，同時，各个卷积神经网络都在不断更新与优化中，以适应不同的任务和性能要求。基于深度学习的植物病害识别基本步骤见图3。

4.1基于深度网络的植物病害识别

相较于早期植物病害识别方法，基于深度网络的植物病害识别可以自动对图像进行预处理，不再需要通过人工处理图像，因此大大提高了病害识别的效率。同时，随着网络深度的增加，模型的学习能力更强，提取的特征更丰富。但由于网络深度的增加，训练过程会消耗大量的时间，并且可能会出现在训练时过拟合的问题。不少研究人员尝试在植物病害识别中采用以 CNN 为主的深度神经网络，以提高识别的准确性。Kawa‐saki等[68]最早采用 CNN 进行病害识别，基于健康叶片与2种病害叶片类型的800幅黄瓜病害图像训练 CNN ，训练时用4-fold交叉验证，最终获得了94.9%的准确率。Sladojevic等[69]从互联网上搜集了2589张图像，包括桃、梨、苹果等6种植物叶片的13种病害、正常叶片和背景共计15种类型，通过仿射、投影和旋转等数据增广技术增加了图像数量;采用CaffeNet和迁移学习，特征提取层参数在 ImageNet 上预训练，只在最后分类的全连接层进行了精调（fine-tuning），该网络的平均分类准确度达到了96.3%。 Mohanty 等[70]  比较了AlexNet和GoogleNet两种网络性能，训练数据库为PlantVillage，发现当训练数据与测试数据之比是8：2并采用迁移学习时，在GoogleNet上平均识别准确率高达99.34%。Ram ‐charan等[71]在田间拍摄了2756张木薯叶片图像，将剪切的15，000张小叶片图像构造数据库，采用了 Inception v3和迁移学习网络模型，并与传统的 SVM和 K最邻近（ KNN ，K-NearestNeighbor）分类器进行了对比，识别3种病害和2种虫害，发现 Inception v3的平均准确率为93%，高于传统分类器。为解决网络收敛时间长和参数内存需求大的问题，孙俊等[72]在AlexNet的基础上采用批归一化方法以及加入全局池化层和缩减特征图数目的方法，得到8种改进模型，对PlantVil‐lage中的14种植物共26种病害进行识别，其最优模型的平均测试识别准确率达到99.56%。Lu 等[73]采集了9230张大田小麦图像用于训练和测试，包含6种常见小麦病害，采用深度学习框架基于多实例学习的弱监督方法，在完成诊断功能的同时，可以通过全卷积网络（Fully Convolu‐tional Network ，FCN ）算法分割出病害区域，平均识别精度为97.95%。Ferentinos [74] 比较了5种典型 CNN 模型的病害识别精度，该研究使用了一种包括25种植物和57种病害的数据库，共计87，000张叶片病害图像，其中37.3%是在大田条件下拍摄，62.7%是在实验室中拍摄;训练方法是从头训练而非迁移训练，结果表明 VGG 模型效果最好，平均识别准确率为99.53%。赵建敏等[75]基于 TensorFlow框架，搭建8层CNN+soft‐ max分层卷积神经网络模型，自动学习到256个病害图像特征，采用softmax分类器识别病害，简单背景单一病斑识别准确率达到87%。Xing等[76]在自然环境下采集了17种柑橘类害虫图像和7种柑橘类病害图像共12，561张，对这些图像进行了增广处理，对比6种网络模型的识别效果，其中在DenseNet基础上做了一些简化的Weakly DenseNet的效果最好，平均准确率为93.42%。曾伟辉等[77]提出了一种高阶残差和参数共享反馈的卷积神经网络模型，高阶残差子网络为病害表观提供丰富细致的特征表达，以提高模型识别精度，参数共享反馈子网络用来抑制原深层特征中的背景噪声，可提高模型的鲁棒性，该网络在PlantVillage上分类效果优于几种传统的分类器。Ji 等[78] 使用多个 CNN 组成 United‐Model 提取互补的病害特征用于葡萄病害的识别，在PlantVillage上取得了很好识别效果。

4.2基于轻量型网络的植物病害识别

近些年，为了适应复杂自然场景中数据资源有限的局限性，研究人员展开了对轻量型网络的研究。刘洋等[79]在安卓手机上实现了PlantVil‐lage数据集病害图像识别，比较了MobileNet和Inception v3两种轻量级网络的性能，结果表明两种网络识别精度相差很小，但基于MobileNet模型的程序更小，运行速度更快。王春山等[80]提出了改进型多尺度残差网络，通过改变残差层连接方式，将大卷积核分解，减少了模型参数，设计了轻量级病害识别模型。Saleem 等[81]利用Xception对PlantVillage中的26种疾病进行分类，通过对先进的 CNN 体系结构和改进的深度学习模型进行对比分析，选出了识别效果最好的Xception模型，然后通过各种优化器训练，选取提高性能最多的 Adam优化器，对数据集中植物病害的识别准确率最终达到99.81%。De Ocamop和Dadios [82]用轻量型网络MobileNet对植物病害进行分类，证明MobileNet在数据集相对较小的情况下也能有效地对植物病害进行分类。

4.3植物病害同步检测与识别

植物病害检测和识别不仅可以采取先检测病害区域（即感兴趣区域或 IOT区域）再进行病害识别的分步操作，还可以同步进行，即对病害区域检测的同时判别病害种类。De Luna等[83] 以自然条件下采集的4923张患病及健康的番茄叶片图像为研究对象，设计了一个自动图像采集系统和一个番茄病害检测和识别模型。利用以AlexNet为基础特征提取网络的 F-RCNN 实现病害检测的同时，对番茄叶片病害进行了分类，该模型最终准确率达到95.75%。Rashid 等[84]针对病害检测和识别研究无法检测作物种类和作物病害的问题，建立了一个多层次深度学习模型来识别马铃薯叶片病害，首先使用 YOLO v5对马铃薯叶片进行检测，同时使用深度学习技术 PD ‐ DCNN对马铃薯叶片上的病害进行分类，得到最终准确率为99.75%;同时，他们还与 VGG16、 InceptionResNetV2、DenseNet_121、DenseNet169、Xception等模型进行了比较，证实该模型在精度和计算代价方面具有优势。Kiratiratanapruk等[85] 使用了4种卷积神经网络预训练模型（ Faster- RCNN、RetinaNet、YOLOv3和 Mask RCNN）来检测6种常见的水稻病害，以在自然条件下拍摄的6330张照片为数据集，并在该数据集上使用了上述4种模型，同时實现了病叶检测和病害分类功能，YOLOv3模型最终表现良好，准确率达到79.19%。

4.4植物病害识别分析与展望

根据卷积神经网络模型规模，神经网络可分为深度网络和轻量型网络，近年植物病害识别研究进展总结见表5和表6（第40页）。

植物病害图像数据库无论是开放还是私有的，都有一个共同点，即病害部位基本在图像中间，且占据图像的大部分空间，这表明目前的研究似乎集中在人机交互场景，是在部分可控拍摄条件下进行病害识别，与植保机器人面临的实际情况相差较大。大量实验表明，基于数据库识别效果最好的 CNN 在不同类型病害图像库表现并非始终最好，这表明需要通过大量试验才能为特定场景的病害识别筛选出最适合的网络模型。虽然有学者研究了基于移动设备的病害识别，但处理速度通常在数百毫秒以上，并非实时识别。

从深度学习在植物病害识别的研究进展看，在研究内容和网络模型等方面逐渐发生转变。在研究内容方面，逐渐从提升 CNN 的病害识别准确率转变成运算速度提升，从实验室单一背景植物病害识别转变成自然条件下复杂背景植物病害识别，从静态的病害图像检测转变成动态的视频检测，从单一植物叶部病害特征提取转变成对根、茎、叶、花、果不同植物器官的病害症状特征提取。在 CNN 模型方面，从 VGG、GoogleNet、ResNet、DenseNet等网络向 Mo ‐bileNet、EfficientNet轻量型网络转变，保持性能不降低情况下尽量压缩模型参数、提升网络运行速度，确保网络模型可在算力有限的人工智能边缘计算平台上运行。

5 面临的挑战与展望

5.1面临的挑战

虽然近年来国内外研究者基于深度学习技术开展了大量的植物病害目标检测与分类识别研究，推动了检测与识别准确度的提高，但在实际应用场景中，植物病害检测与识别仍然面临着诸多挑战。

（1） 光照变化导致目标区域准确定位难。在实际植物种植环境中，一日之内光照变化剧烈、不同背景下的反光、不同气象条件等影响因素，造成植物病斑目标区域难以准确定位。自然光照条件下，拍摄的角度、高度或者地点可能会导致部分图片中病斑位置的颜色深浅不一，使得病斑特征不明显，从而影响分类识别准确度。

（2） 背景复杂导致目标的准确检测难度大。在实际植物种植环境中获取的病害图像背景有可能会包括叶片、树干、茎秆、根部、土壤、杂草、秸秆、地膜、落叶、石头、积水、阴影等，在复杂背景条件下获取的植物病害图像对于病斑的目标检测难度较大。同时，植物病斑颜色形状等有可能与背景中的其他对象相似，造成目标检测的准确率降低。

（3） 遮挡导致目标特征缺失、噪声重叠。目前，大多数研究者都避免对复杂环境下植物病害的识别，采用直接截取所采集图像感兴趣的区域的方法，很少考虑遮挡问题。遮挡问题在复杂自然环境中普遍存在，包括由叶片姿态变化引起的叶片遮挡、分支遮挡、外部光照引起的光遮挡以及不同遮挡类型引起的混合遮挡。遮挡条件下植物病害识别的难点在于特征缺失和遮挡引起的噪声重叠。不同的遮挡条件对识别算法有不同程度的影响，导致误检甚至漏检。

（4） 病害相似性导致错判或者误判。不同的病害引起的症状具有相似性。症状是判断病害种类的主要依据之一，若不同种类病害的发病症状极为相似，通过二维图像无法准确地辨识，需要获取更多维度信息如深度信息、光谱信息、红外信息、荧光信息等，才能准确判断出植物病害类别。

（5） 病害症状变化导致病害识别难度大。病原菌可以在植物不同时期进行侵染，发病时又会因植物的品种、生育期和器官表现出不同的症状，同一种病害在不同的危害时期或不同侵染程度下表现出不同症状。同一种病害危害植物的不同组织或植物器官症状会有差异，如嫩芽、子叶、真叶、果实、茎秆、根部等呈现出来的症状各有不同。同一种病害在同种植物器官上也會呈现不同的症状类型，比如棉花黄萎病常见的症状有4种类型，分别为黄斑型、叶枯型、萎蔫型和落叶型，这对病害识别提出了很大的挑战。

（6） 多重病害交叠导致植物病害的检测和识别准确率低。目前提到的病害检测和识别都是基于每片叶子上均是一种病害或一种病害特征最为明显的情况而研究的。但在自然条件下，常见多种病害同时存在于单片叶子的情况，还存在病害与虫害相互重叠现象，使植物病害检测和识别成为一项复杂的工作。

5.2展望

深度学习作为新一代人工智能技术有着两方面的优势：一是可随着数据规模的增加不断提升其性能;二是可以从数据中直接提取特征，削减对每一个问题设计特征提取器的工作量。因此，作为大数据时代的算法利器，深度学习技术受到各个国家的高度重视，关于卷积神经网络的研究有很多。

基于深度学习的植物病害的检测和识别技术目前已经发展的较为成熟，但在自然条件下依旧面临着很多的挑战。总体而言，难点主要集中于背景和病害本身特性的复杂上，为了克服这些难点，需要性能更好的神经网络和更丰富的数据集。在未来，深度神经网络的性能将不断提升，深度神经网络节点功能不断丰富，深度神经网络工程化应用技术不断深化。数据集也将从单一可控背景下拍摄收集转换为自然条件复杂背景下采集。另外，在数据模态方面，也将从单一模态的视觉通道向拥有近红外光谱、高光谱、红外热图像、深度、荧光等多模态数据转变，病害识别的准确率进一步提升，同时可以利用多模信息开展早期植物病害的判别。随着深度学习技术的快速发展，如何将最新深度学习技术与植物病害检测和识别相结合，解决检测器定位能力差、识别模型精度低、算法泛化性能弱以及构建大规模数据集合难等方面的问题，形成可面向复杂自然条件、多种植物病害、应用于实际大田作业的模型算法，提升田间病害的智能监测水平，创制出适用于田间作业的智能植保机械装备，是该领域未来主要的研究方向。

同时对植物病害的检测和识别并不是一个简单的工作，不能仅靠植物表面图像来获得可靠的结果。并且，在实际应用场景中，植物叶片上时常有多种病害共存，这将对检测和识别产生很大的干扰，未来植物病害检测和识别应该更好地与农业理论基础相结合，在对图像分析的基础上，还要考虑环境因素、作物生长规律以及病菌的生物学特性等多种因素，进一步提高病害识别和检测结果的实用性，同时让多种病害同时检测和识别成为可能。

参考文献：

[1] NAVROZIDIS  I， ALEXANDRIDIS  T K，  DIMITRA ‐KOS A， et al. Identification of purple spot disease on asparagus  crops  across  spatial  and  spectral  scales[J]. Computers and Electronics in Agriculture， 2018， 148：322-329.

[2] MA J， DU K， ZHENG F， et al. A recognition methodfor  cucumber  diseases  using  leaf  symptom  images based on deep convolutional neural network[J]. Com ‐puters and Electronics in Agriculture， 2018， 154：18-24.

[3] CHEN P， XIAO Q， ZHANG J， et al. Occurrence pre‐diction  of cotton  pests  and  diseases  by  bidirectional long short-term memory networks with climate and at‐mosphere circulation[J]. Computers and Electronics in Agriculture， 2020， 176： ID 105612.

[4] 张建华， 韩书庆， 翟治芬， 等.改进自适应分水岭方法分割棉花叶部粘连病斑[J].农业工程学报 ， 2018， 34（24）：165-174.

ZHANG  J， HAN  S， ZHAI Z，  et  al. Segmentation  of cotton leaf adhesiosis spot by improved adaptive water‐ shed method [J]. Transactions of the CSAE， 2018， 34（24）：165-174.

[5] VISHNOI V K， KUMAR K， KUMAR B. Plant diseasedetection using  computational  intelligence  and  imageprocessing[J]. Journal  of Plant  Diseases  and  Protec‐tion， 2021， 128（1）：19-53.

[6] 高秀美， 曹长余， 邵增顺， 等.园林植物病虫害发生特点与防治对策[J].中国农学通报， 2001， 17（1）：70-71.

GAO X， CAO C， SHAO Z， et al. Occurrence character‐istics and control countermeasures of garden plant dis‐eases and insect pests[J]. Chinese Agricultural ScienceBulletin， 2001， 17（1）：70-71.

[7] 劉媛.基于深度学习的葡萄叶片病害识别方法研究[D].兰州：甘肃农业大学， 2018.

LIU Y. Research  on  grape  leaf disease  identificationmethod  based  on  deep  learning[D]. Lanzhou： GansuAgricultural University， 2018.

[8] ZHANG  J， KONG  F， WU  J，  et  al. Automatic  imagesegmentation method for cotton leaves with disease un‐der natural environment[J]. Journal of Integrative Agri‐culture 2018， 17（8）：1800-1814.

[9] ZHANG J， KONG F， ZHAI Z， et al. Robust image seg‐mentation method for cotton leaf under natural condi‐tions  based  on  immune  algorithm  and  PCNN  algo‐rithm[J]. International  Journal  of Pattern  Recognition& Artificial Intelligence， 2018， 32（5）：3671-3678.

[10] HINTON G E， OSINDERO S， TEH Y W. A fast learn‐ing algorithm for deep belief nets[J]. Neural Computa‐tion， 2006， 18（7）：1527-1554.

[11] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Im‐agenet  classification  with  deep  convolutional  neuralnetworks[J]. Advances in Neural Information process‐ing systems， 2012， 25：1097-1105.

[12] DARGAN S， KUMAR M， AYYAGARI M R， et al. Asurvey of deep learning and its applications： A new par‐adigm  to  machine  learning[J]. Archives  of Computa‐tional  Methods  in  Engineering， 2020， 27（4）： 1071-1092.

[13] ZHANG  Q，  LIU Y，  GONG  C，  et  al. Applications  ofdeep learning for dense scenes analysis in agriculture：A review[J]. Sensors， 2020， 20（5）： ID 1520.

[14] SANTOS  L，  SANTOS  F N，  OLIVEIRA P M，  et  al.Deep  learning  applications  in  agriculture： A short re‐view[C]// Iberian Robotics Conference. Berlin，German：Springer， Cham， 2019：139-151.

[15] BARBEDO J G A. Impact of dataset size and varietyon the effectiveness of deep learning and transfer learn‐ing  for plant  disease  classification[J]. Computers  andElectronics in Agriculture， 2018， 153：46-53.

[16] SINGH D， JAIN N， JAIN P， et al. PlantDoc： A datasetfor  visual  plant  disease  detection[C]// The 7th ACMIKDD  CoDS  and 25th  COMAD. New  York，  USA：ACM， 2020：249-253.

[17] LIU X， MIN W， MEI  S， et al. Plant disease recogni‐tion： A large-scale benchmark dataset and a visual re‐gion and loss reweighting approach[J]. IEEE Transac‐tions on Image Processing， 2021， 30：2003-2015.

[18] BARBEDO  J  G A，  KOENIGKAN  L V，  HALFELD-VIEIRA B A， et al. Annotated plant pathology databas‐ es for image-based detection and recognition of diseas‐ es[J]. IEEE Latin America Transactions， 2018， 16（6）：1749-1757.

[19]张文静.基于卷积神经网络的烟草病害识别与检测[D].泰安：山东农业大学， 2021.

ZHANG W. Tobacco disease recognition and detection based on convolutional neural network[J]. Tai'an： Shan‐ dong Agricultural University， 2021.

[20] LECUN Y， BENGIO Y， HINTON G. Deep learning[J].Nature， 2015， 521：436-444.

[21] GIRSHICK R， DONAHUE J， DARRELL T， et al. Richfeature hierarchies for accurate object detection and se‐ mantic  segmentation[C]// The  IEEE  Conference  on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2014：580-587.

[22] GIRSHICK R. Fast r-cnn[C]// The IEEE InternationalConference  on  Computer  Vision. Piscataway，  New York， USA： IEEE， 2015：1440-1448.

[23] REN S， HE K， GIRSHICK R， et al. Faster R-CNN ： To‐wards real-time object detection with region proposal networks[J]. Advances in Neural Information Process‐ing Systems， 2015， 28：91-99.

[24] FUENTES A， YOON S， KIM S C， et al. A robust deep-learning-based detector for real-time tomato plant dis‐ eases  and  pests  recognition[J]. Sensors， 2017， 17（9）：ID 2022.

[25]刘阗宇， 冯全.基于卷积神经网络的葡萄叶片检测[J].西北大学学报（自然科学版）， 2017， 47（4）：505-512.

LIU T， FENG Q. Grape leaf detection based on convo‐lutional neural network[J]. Journal of Northwest Uni‐versity  （Natural  Science  Edition），  2017，  47（4）：505-512.

[26]劉阗宇， 冯全， 杨森.基于卷积神经网络的葡萄叶片病害检测方法[J].东北农业大学学报 ， 2018， 49（3）：73-83.

LIU T， FENG Q， YANG S. Detection of grape leaf dis‐ eases based on convolutional neural network[J]. Jour‐nal of Northeast Agricultural University， 2018， 49（3）：73-83.

[27] OZGUVEN M M， ADEM K. Automatic detection andclassification  of leaf spot disease in  sugar beet using deep learning algorithms[J]. Physica A： Statistical Me‐chanics and its Applications， 2019， 535： ID 122537.

[28] BARI B  S， ISLAM M N， RASHID M， et al. A real-time  approach  of diagnosing  rice  leaf disease  using deep  learning-based  faster  R-CNN  framework[J]. PeerJ Computer Science， 2021， 7： ID e432.

[29] ZHOU G， ZHANG W， CHEN A， et al. Rapid detectionof rice disease based on FCM-KM and faster R-CNN fusion[J]. IEEE Access， 2019， 7：143190-143206.

[30] XIE X， MA Y， LIU B， et al. A deep-learning-based real-time  detector  for  grape  leaf diseases using  improvedconvolutional  neural  networks[J]. Frontiers  in  PlantScience， 2020， 11： ID 751.

[31] REDMON J， DIVVALA S， GIRSHICK R， et al. Youonly look once： Unified， real-time object detection[C]//The IEEE Conference on Computer Vision and PatternRecognition. Piscataway，  New  York，  USA： IEEE，2016：779-788.

[32] BHATT P V， SARANGI S， PAPPULA S. Detection ofdiseases and pests on images captured in uncontrolledconditions  from  tea  plantations[C]// Autonomous Airand Ground Sensing Systems for Agricultural Optimi‐zation  and  Phenotyping  IV. International  Society  forOptics  and  Photonics. Baltimore，  Maryland，  UnitedStates： SPIE， 2019： ID 1100808.

[33] MASKI P， THONDIYATH A. Plant disease detectionusing advanced deep learning algorithms： A case studyof papaya ring spot disease[C]//20216th InternationalConference on Image， Vision and Computing （ICIVC）.Piscataway， New York， USA： IEEE， 2021：49-54.

[34]李昊， 劉海隆， 刘生龙.基于深度学习的柑橘病虫害动态识别系统研发[J].中国农机化学报， 2021， 42（9）：195-201， 208.

LI H， LIU H， LIU S. Development of dynamic recogni‐tion system of citrus pests and diseases based on deeplearning[J]. Journal of Chinese Agricultural Mechaniza‐tion， 2021， 42（9）：195-201， 208.

[35] LIU W， ANGUELOV D， ERHAN D， et al. SSD ： Sin‐gle  shot  multibox  detector[C]// European  Conferenceon Computer Vision. Berlin， German： Springer， Cham，2016：21-37.

[36] SUN H， XU H， LIU B， et al. MEAN-SSD ： A novel re‐al-time detector for apple leaf diseases using improvedlight-weight  convolutional  neural  networks[J]. Com ‐puters  and  Electronics  in Agriculture， 2021， 189： ID106379.

[37] SUN  J， YANG Y，  HE  X，  et  al. Northern  maize  leafblight  detection  under  complex  field  environmentbased  on  deep  learning[J]. IEEE  Access， 2020， 8：33679-33688.

[38] SELVARAJ M G， VERGARA A， RUIZ H， et al. AI-powered banana  diseases  and pest  detection[J]. PlantMethods， 2019， 15（1）：1-11.

[39] ZHOU  X， WANG  D，  KR?HENB?HL P. Objects  aspoints[J/OL]. arXiv preprint arXiv：1904.07850， 2019.

[40]夏雪， 孙琦鑫， 侍啸， 等.基于轻量级无锚点深度卷积神经网络的树上苹果检测模型[J].智慧农业（中英文）， 2020， 2（1）：99-110.

XIA X， SUN Q， SHI X， et al. Apple detection modelbased  on  lightweight  anchor-free  deep  convolutionalneural  network[J]. Smart  Agriculture， 2020， 2（1）：99-110.

[41] ALBATTAH W， NAWAZ M， JAVED A， et al. A  noveldeep  learning method  for  detection  and  classification of plant  diseases[J]. Complex & Intelligent  Systems， 2021：1-18.

[42] ZHANG K， WU Q， CHEN Y. Detecting soybean leafdisease  from  synthetic  image  using  multi-feature  fu‐sion  faster  R-CNN [J]. Computers  and  Electronics  in Agriculture， 2021， 183： ID 106064.

[43] HU G， WANG H， ZHANG Y， et al. Detection and se‐verity analysis of tea leaf blight based on deep learn‐ing[J]. Computers & Electrical Engineering， 2021， 90：ID 107023.

[44] ESER S. A deep learning based approach for the detec‐tion of diseases in pepper and potato leaves[J]. Anado‐lu  Journal  of  Agricultural  Sciences， 2021， 36（2）：167-178.

[45] REHMAN Z， KHAN M A， AHMED F， et al. Recogniz‐ing apple leaf diseases using a novel parallel real ‐ time processing  framework  based  on  MASK  RCNN  and transfer  learning： An  application  for  smart  agricul‐ture[J]. IET  Image  Processing， 2021， 15（10）：2157-2168.

[46] ANANDHAN  K，  SINGH  A  S. Detection  of  paddycrops diseases and early diagnosis using faster regional convolutional neural networks[C]//2021 International Conference  on  Advance  Computing  and  Innovative Technologies  in  Engineering （ICACITE）. Piscataway， New York， USA： IEEE， 2021：898-902.

[47] KUMAR P. Research paper on sugarcane disease detec‐tion model[J]. Turkish Journal of Computer and Mathe‐matics  Education （TURCOMAT）， 2021， 12（6）：5167-5174.

[48]李鑫然， 李書琴， 刘斌.基于改进 Faster R_CNN 的苹果叶片病害检测方法[J].计算机工程 ， 2021， 47（11）：298-304.

LI X，  LI  S，  LIU  B. Detection  of apple  leaf diseases based on improved Faster R_CNN [J]. Computer Engi‐neering， 2021， 47（11）：298-304.

[49] WANG Q， QI F， SUN M， et al. Identification of tomatodisease types and detection of infected areas based on deep convolutional neural networks and object detec‐tion  techniques[J]. Computational  Intelligence  and Neuroscience， 2019， 2019（2）： ID 9142753.

[50]喬虹， 冯全， 张芮， 等.基于时序图像跟踪的葡萄叶片病害动态监测[J].农业工程学报 ， 2018， 34（17）：167-175.

QIAO H， FENG Q， ZHANG R， et al. Dynamic moni‐toring of grape leaf diseases based on sequential image tracking[J]. Transactions  of the  CSAE， 2018， 34（17）：167-175.

[51] WANG J， YANG J， YU L， et al. DBA_SSD ： A novelend-to-end object detection using deep attention mod‐ ule for helping  smart device with vegetable and fruitleaf plant  disease  detection[J]. Information， 2021， 12（11）：474.

[52] SHILL  A，  RAHMAN  M  A. Plant  disease  detectionbased on YOLOv3 and YOLOv4[C]//2021 Internation‐al Conference on Automation， Control and Mechatron‐ics  for  Industry 4.0（ACMI）. Piscataway， New York，USA： IEEE， 2021.

[53] WANG X， LIU J. Multiscale parallel algorithm for ear‐ly detection of tomato gray mold in a complex naturalenvironment[J]. Frontiers  in  Plant  Science， 2021， 12：ID 620273.

[54] HE X， FANG K， QIAO B， et al. Watermelon diseasedetection based on deep learning[J]. International Jour‐nal of Pattern Recognition  and Artificial Intelligence，2021， 35（5）： ID 2152004.

[55] ATILA ? ， U?AR M， AKYOL K， et al. Plant leaf dis‐ease  classification  using  EfficientNet  deep  learningmodel[J]. Ecological Informatics， 2021， 61： ID 101182.

[56] LIU J， WANG X. Tomato diseases and pests detectionbased on improved YOLOv3 convolutional neural net‐work[J]. Frontiers in Plant Science， 2020， 11： ID 898.

[57] MORBEKAR A， PARIHAR A， JADHAV R. Crop dis‐ease  detection  using  YOLO[C]//2020 InternationalConference for Emerging Technology （INCET）. Piscat‐away， New York， USA： IEEE， 2020.

[58] PONNUSAMY V，  COUMARAN A，  SHUNMUGAMA S， et al. Smart glass： Real-time leaf disease detectionusing YOLO transfer learning[C]//2020 InternationalConference on Communication and Signal Processing（ICCSP）. Piscataway，  New  York，  USA： IEEE， 2020：1150-1154.

[59] LIU  J，  WANG  X. Early  recognition  of tomato  grayleaf  spot  disease  based  on  MobileNetv2-YOLOv3model[J]. Plant Methods， 2020， 16： ID 83.

[60] JIANG P， CHEN Y， LIU B， et al. Real-time detectionof apple  leaf diseases  using  deep  learning  approachbased  on  improved  convolutional  neural  networks[J].IEEE Access， 2019， 7：59069-59080.

[61] TIAN Y， YANG G， WANG Z， et al. Detection of applelesions in orchards based on deep learning methods ofcyclegan  and  YOLOv3-dense[J]. Journal  of  Sensors，2019： ID 7630926.

[62] RAMCHARAN A， MCCLOSKEY P， BARANOWSKIK， et al. A mobile-based deep learning model for cassa‐va  disease  diagnosis[J]. Frontiers  in  Plant  Science，2019， 10： ID 272.

[63] KAVITHA LAKSHMI R，  SAVARIMUTHU N. DPD-DS for plant disease detection based on instance seg‐mentation[J]. Journal of Ambient Intelligence and Hu‐manized Computing， 2021：1-11.

[64] LIU C， ZHU H， GUO W， et al. EFDet： An efficient de‐tection  method  for  cucumber  disease  under  naturalcomplex  environments[J]. Computers  and  Electronicsin Agriculture， 2021， 189： ID 106378.

[65] DWIVEDI  R，  DEY  S，  CHAKRABORTY  C，  et  al.Grape  disease  detection  network based  on  multi-task learning and attention features[J]. IEEE Sensors Jour‐nal， 2021： ID 99.

[66] NIHAR F， KHANOM N N， HASSAN S S， et al. Plantdisease detection through the implementation of diver‐sified and modified neural network algorithms[J]. Jour‐nal of Engineering Advancements， 2021， 2（1）：48-57.

[67] NAGASUBRAMANIAN K， JONES  S，  SINGH A K，et al. Plant disease identification using explainable 3D deep learning on hyperspectral images[J]. Plant Meth‐ods， 2019， 15（1）： ID 98.

[68] KAWASAKI Y， UGA H， KAGIWADA S， et al. Basicstudy of automated diagnosis of viral plant diseases us‐ing  convolutional  neural  networks[C]// International Symposium  on  Visual  Computing. Berlin， German： Springer， Cham， 2015：638-645.

[69] SLADOJEVIC  S， ARSENOVIC M， ANDERLA A， etal. Deep  neural  networks  based  recognition  of plant diseases by leaf image classification[J]. Computational Intelligence  and  Neuroscience，  2016，  2016：  ID3289801.

[70] MOHANTY  S  P， HUGHES  D  P，  SALATH?  M. Us‐ing  deep  learning  for  image-based  plant  disease  de‐tection[J]. Frontiers in Plant Science， 2016， 7： ID 1419.

[71] RAMCHARAN  A，  BARANOWSKI，  MCCLOSKEYP， et al. Deep learning for image-based cassava disease detection[J]. Frontiers in Plant Science， 2017， 23（10）：1-7.

[72]孙俊， 谭文军， 毛罕平， 等.基于改进卷积神经网络的多种植物叶片病害识别[J].农业工程学报 ， 2017， 33（19）：209-215.

SUN J， TAN W， MAO H， et al. Recognition of plant leaf diseases based on improved convolutional neural network [J]. Transactions of the CSAE， 2017， 33（19）：209-215.

[73] LU  J，  HU  J，  ZHAO  G，  et  al. An  in-field  automaticwheat  disease  diagnosis  system[J]. Computers  and Electronics in Agriculture， 2017， 142：369-379.

[74] FERENTINOS  K  P. Deep  learning  models  for  plantdisease  detection  and  diagnosis[J]. Computers  and Electronics in Agriculture， 2018， 145：311-318.

[75]赵建敏， 李艳， 李琦， 等.基于卷积神经网络的马铃薯叶片病害识别系统[J].江苏农业科学 ， 2018， 46（24）：251-255.

ZHAO  J，  LI  Y，  LI  Q，  et  al. Recognition  system  of potato leaf disease based on convolutional neural net‐ work[J]. Jiangsu Agricultural  Sciences， 2018， 46（24）：251-255.

[76] XING S， LEE M， LEE K K. Citrus pests and diseasesrecognition model using weakly dense connected con‐ volution network[J]. Sensors， 2019， 19（14）： ID 3195.

[77] 曾偉辉， 李淼， 李增， 等.基于高阶残差和参数共享反馈卷积神经网络的农作物病害识别[J].电子学报 ，2019， 47（9）：1979-1986.

ZENG W， LI M， LI Z， et al. Recognition of crop diseas‐es based on high-order residual and parameter sharingfeedback convolutional Neural network[J]. Acta Elec‐tronicaSinica， 2019， 47（9）：1979-1986.

[78] JI M， ZHANG L， WU Q. Automatic grape leaf diseas‐es  identification  via  UnitedModel  based  on  multipleconvolutional neural networks[J]. Information Process‐ing in Agriculture， 2020， 7（3）：418-426.

[79]刘洋， 冯全， 王书志.基于轻量级 CNN的植物病害识别方法及移动端应用[J].农业工程学报 ， 2019， 35（17）：194-204.

LIU Y， FENG Q， WANG S. Plant disease recognitionmethod based on lightweight CNN and its mobile ap‐plication[J]. Transactions of the CSAE， 2019， 35（17）：194-204.

[80]王春山， 周冀， 吴华瑞， 等.改进 Multi-scale ResNet的蔬菜叶部病害识别[J].农业工程学报 ， 2020， 36（20）：209-217.

WANG  C，  ZHOU  J，  WU  H，  et  al. Improved  multi-scale ResNet for identification of vegetable leaf diseas‐es[J]. Transactions  of  the  CSAE， 2020， 36（20）：209-217.

[81] SALEEM M H， POTGIETER J， ARIF K M. Plant dis‐ease  classification： A comparative  evaluation  of con‐volutional neural networks and deep learning optimiz‐ers[J]. Plants， 2020， 9（10）： ID 1319.

[82] DE OCAMPO A L P， DADIOS E P. Mobile platformimplementation  of lightweight  neural  network  modelfor plant  disease  detection  and  recognition[C]//2018IEEE 10th  International  Conference  on  Humanoid，Nanotechnology，  Information  Technology，  Communi‐cation  and  Control，  Environment  and  Management（HNICEM）. Piscataway， New York， USA： IEEE， 2018：1-4.

[83] DE LUNA R G， DADIOS E P， BANDALA A A. Au‐tomated  image  capturing  system  for  deep  learning-based tomato plant leaf disease detection and recogni‐tion[C]// TENCON 2018-2018 IEEE Region 10 Con‐ference. Piscataway，  New  York，  USA： IEEE， 2018：1414-1419.

[84] RASHID J， KHAN I， ALI  G，  et  al. Multi-level deeplearning model  for potato  leaf disease recognition[J].Electronics， 2021， 10（17）： ID 2064.

[85] KIRATIRATANAPRUK K， TEMNIRANRAT P， KIT ‐VIMONRAT A， et al.， Using deep learning techniquesto detect rice diseases from images of rice fields[C]//International  Conference  on  Industrial，  Engineeringand Other Applications of Applied Intelligent Systems.Berlin， German： Springer， 2020：225-237.

[86] JIANG Z， DONG Z， JIANG W， et al. Recognition ofrice  leaf diseases  and  wheat  leaf diseases  based  on multi-task  deep  transfer  learning[J]. Computers  and Electronics in Agriculture， 2021， 186： ID 106184.

[87] ABBAS A， JAIN S， GOUR M， et al. Tomato plant dis‐ease detection using transfer learning with C-GAN syn‐ thetic images[J]. Computers and Electronics in Agricul‐ture， 2021， 187： ID 106279.

[88] CHELLAPANDI B， VIJAYALAKSHMI M， CHOPRAS. Comparison  of pre-trained  models  using  transfer learning for detecting plant disease[C]//2021 Interna‐tional Conference on Computing， Communication， and Intelligent  Systems （ICCCIS）. Piscataway， New York， USA： IEEE， 2021：383-387.

[89]樊湘鵬 ， 许燕 ， 周建平 ， 等.基于迁移学习和改进CNN 的葡萄叶部病害检测系统[J].农业工程学报 ， 2020， 37（6）：151-159.

FAN X， XU Y， ZHOU J， et al. Grape leaf disease detec‐tion  system based  on  transfer  learning  and  improved CNN [J]. Transactions  of  the  CSAE， 2020， 37（6）：151-159.

[90] JIANG F， LU Y， CHEN Y， et al. Image recognition offour rice leaf diseases based on deep learning and sup‐ port vector machine[J]. Computers and Electronics in Agriculture， 2020， 179： ID 105824.

[91] BARMAN  U，  CHOUDHURY R  D，  SAHU  D，  et  al.Comparison of convolution neural networks for smart‐ phone  image  based  real  time  classification  of citrus leaf disease[J]. Computers and Electronics in Agricul‐ture， 2020， 177： ID 105661.

[92] DANG L M， HASSAN S I， SUHYEON I， et al. UAVbased  wilt  detection  system  via  convolutional  neural networks[J]. Sustainable  Computing： Informatics  and Systems， 2020， 28： ID 100250.

[93] HOWLADER M R， HABIBA U， FAISAL R H， et al.Automatic  recognition  of  guava  leaf  diseases  using deep convolution neural network[C]//2019 Internation‐ al Conference on Electrical， Computer and Communi‐ cation  Engineering （ECCE）. Piscataway，  New  York， USA： IEEE ：2019.

[94] COULIBALY  S，  KAMSU-FOGUEM  B，  KAMISSO ‐KO D， et al. Deep neural networks with transfer learn‐ing  in  millet  crop  images[J]. Computers  in  Industry， 2019， 108：115-120.

[95] HU G， YANG X， ZHANG Y， et al. Identification of tealeaf diseases by using an improved deep convolutional neural network[J]. Sustainable Computing： Informatics and Systems， 2019， 24： ID 100353.

[96] SIBIYA M， SUMBWANYAMBE M. A computationalprocedure  for  the  recognition  and  classification  of maize leaf diseases out of healthy leaves using convo‐lutional neural networks[J]. AgriEngineering， 2019， 1（1）：119-131.

[97]王艷玲， 张宏立， 刘庆飞， 等.基于迁移学习的番茄叶片病害图像分类[J].中国农业大学学报， 2019， 24（6）：124-130.

WANG Y， ZHANG H， LIU Q， et al. Image classifica‐tion  of tomato  leaf diseases  based  on  transfer  learn‐ing[J]. Journal of China Agricultural University， 2019，24（6）：124-130.

[98] SINGH U P， CHOUHAN S S， JAIN S， et al. Multilay‐er convolution neural network for the classification ofmango leaves infected by anthracnose disease[J]. IEEEAccess， 2019， 7：43721-43729.

[99] PICON A， ALVAREZ-GILA A， SEITZ M， et al. Deepconvolutional neural networks  for mobile capture de‐vice-based  crop  disease  classification  in  the  wild[J].Computers and Electronics in Agriculture， 2019， 161：280-290.

[100] ABDALLA A， CEN H， WAN L， et al. Fine-tuning con‐volutional neural network with transfer learning for se‐mantic segmentation of ground-level oilseed rape imag‐es  in  a  field  with  high  weed  pressure[J]. Computersand Electronics in Agriculture， 2019， 167： ID 105091.

[101] ATOLE R R， PARK D. A multiclass deep convolution‐al neural network  classifier  for  detection  of commonrice  plant  anomalies[J]. International  Journal  of Ad‐vancedComputer  Science  and Applications， 2018， 9（1）：67-70.

[102] ZHANG X， QIAO Y， MENG F， et al. Identification ofmaize leaf diseases using improved deep convolutionalneural  networks[J]. IEEE  Access， 2018， 6：30370-30377.

[103] LIU B， ZHANG Y， HE D J， et al. Identification of ap‐ple  leaf diseases based  on  deep  convolutional  neuralnetworks[J]. Symmetry， 2018， 10（1）： ID 11.

[104]張建华 ， 孔繁涛 ， 吴建寨 ， 等.基于改进 VGG 卷积神经网络的棉花病害识别模型[J].中国农业大学学报，2018， 23（11）：161-171.

ZHANG J， KONG F， WU J， et al. Cotton disease rec‐ognition model based on improved VGG convolutionalneural network[J]. Journal of China Agricultural Uni‐versity， 2018， 23（11）：161-171.

[105] RANGARAJAN A K，  PURUSHOTHAMAN  R，  RA ‐MESH A. Tomato crop disease classification using pre-trained deep learning algorithm[J]. Procedia ComputerScience， 2018， 133：1040-1047.

[106] DE CHANT C， WIESNER-HANKS T， CHEN S， et al.Automated  identification  of  northern  leaf  blight-in‐fected  maize  plants  from  field  imagery  using  deeplearning[J]. Phytopathology， 2017， 107（11）：1426-1432.

[107] LU Y， YI S， ZENG N， et al. Identification of rice dis‐eases  using  deep  convolutional  neural  networks[J].Neurocomputing， 2017， 267：378-384.

[108] OPPENHEIM D， SHANI G. Potato disease classifica‐tion using convolution neural networks[J]. Advances inAnimal Biosciences， 2017， 8（2）：244-249.

[109]FUJITA E，  KAWASAKI Y，  UGA H，  et  al. Basic  in‐vestigation  on  a robust  and practical plant  diagnostic system[C]//201615th IEEE International Conference on Machine Learning and Applications （ICMLA）. Pis‐cataway， New York， USA： IEEE， 2016：989-992.

[110] SRINIDHI V V， SAHAY A， DEEBA K. Plant patholo‐gy disease detection in apple leaves using deep convo‐lutional neural networks： Apple  leaves  disease  detec‐tion using EfficientNet and DenseNet[C]//20215th In‐ternational  Conference  on  Computing  Methodologies and Communication （ICCMC）. Piscataway， New York，USA： IEEE， 2021：1119-1127.

[111] ZHOU J， LI J， WANG C， et al. A vegetable disease rec‐ognition model for complex background based on re‐gion proposal and progressive learning[J]. Computersand Electronics in Agriculture， 2021， 184： ID 106101.

[112] ZHANG P， YANG L， LI D. EfficientNet-B4-Ranger： Anovel method for greenhouse cucumber disease recog‐nition under natural complex environment[J]. Comput‐ers  and  Electronics  in  Agriculture， 2020， 176： ID105652.

Research Progress of Deep Learning in Detection and Recognition of Plant Leaf Diseases

SHAO Mingyue1 ， ZHANG Jianhua1* ， FENG Quan2 ， CHAI Xiujuan1 ，ZHANG Ning1 ， ZHANG Wenrong1

（1. Agricultural Information Institute of Chinese Academy of Agricultural Sciences/Key Laboratory of AgriculturalBig Data， Ministry of Agriculture and Rural Affairs， Beijing 10081， China;2. School of Mechanical and ElectricalEngineering， Gansu Agricultural University， Lanzhou 730070， China ）

Abstract： Accurate detection and recognition of plant diseases is the key technology to early diagnosis and intelligent monitoring of plant diseases， and is the core of accurate control and information management of plant diseases and insect pests. Deep learn‐ing can overcome the disadvantages of traditional diagnosis methods and greatly improve the accuracy of diseases detection and recognition， and has attracted a lot of attention of researchers. This paper collected the main public plant diseases image data sets all over the world， and briefly introduced the basic information of each data set and their websites， which is convenient to download and use. And then， the application of deep learning in plant disease detection and recognition in recent years was sys‐tematically reviewed. Plant disease target detection is the premise of accurate classification and recognition of plant disease and evaluation of disease hazard level. It is also the key to accurately locate plant disease area and guide spray device of plant pro‐tection equipment to spray drug on target. Plant disease recognition refers to the processing， analysis and understanding of dis‐ ease images to identify different kinds of disease objects， which is the main basis for the timely and effective prevention and control of plant diseases. The research progress in early disease detection and recognition algorithm was expounded based on depth of learning research， as well as the advantages and existing problems of various algorithms were described. It can be seen from this review that the detection and recognition algorithm based on deep learning is superior to the traditional detection and recognition algorithm in all aspects. Based on the investigation of research results， it was pointed out that the illumination， shel‐tering， complex background， different disorders with similar symptoms， different changes of disease symptoms in different peri‐ods， and overlapping coexistence of multiple diseases were the main challenges for the detection and recognition of plant diseas‐ es. At the same time， the establishment of a large-scale and more complex data set that meets the specific research needs is also a difficulty that need to face together. And at further， we point out that the combination of the better performance of the neural network， large-scale data set and agriculture theoretical basis is a major trend of the development of the future. It is also pointed out that multimodal data can be used to identify early plant diseases， which is also one of the future development direction.     Key words： plants; leaf disease; deep learning; disease detection; recognition; convolutional neural network; plant diseases im‐ age data set