张震明,黄子琦,王东,宁堂原,孙刚,姜红花*

基于深度学习的田间麦穗检测

张震明1,黄子琦1,王东2,宁堂原3,孙刚4,姜红花1*

1. 山东农业大学信息科学与工程学院, 山东 泰安 271018 2. 西北农林科技大学农学院, 陕西 杨凌 712100 3. 山东农业大学农学院, 山东 泰安 271018 4. 中国科学院空天信息创新研究院, 北京 100101

大田小麦麦穗识别是小麦估产的重要环节，准确快速的麦穗检测识别是产量估算的前提。利用深度学习技术识别大田图像中的麦穗，可以大幅提高麦穗计数的效率。针对大田小麦植株互相遮挡和光照不均等问题，本文将通道注意力模块添加到PPYOLO网络中，构建了注重检测精度和检测速度相平衡的麦穗检测网络PPYOLO-SE，并将该网络与原PPYOLO网络、SSD、YOLOv3和Faster-RCNN网络进行对比试验，PPYOLO-SE模型检测精度为95.75%，每幅图像检测时间0.6s，优于上述其他网络，验证了PPYOLO-SE模型的有效性。本研究提高了小麦麦穗识别环节的准确性和效率，降低了劳动成本，为田间小麦的自动化管理提供参考。

麦穗检测; 图像增强; 产量评估; 深度学习

大田小麦麦穗检测是小麦估产的重要环节，准确快速的麦穗检测识别可以大大提高产量估算的效率[1,2]。当前麦穗识别方法主要有基于人工特征提取的传统方法和深度学习方法[3-7]：前者将图像中的纹理、颜色和光谱等特征提取，利用聚类或分类方法学习特征，实现目标识别[8,9]；后者利用深度神经网络提取图像特征并对提取的特征进行学习，实现目标的分类识别。深度学习技术可以自主提取图像特征，较深层的网络结构有强大的特征学习能力，因此利用深度学习方法进行麦穗识别相比于传统方法更加有优势。

近年来国内外学者利用深度学习方法在小麦麦穗识别任务中取得了较好成果。Hasan MM等采用Faster-RCNN网络训练麦穗识别模型，模型最高检测精度达到了93.4%[10]。He MX等构建基于改进YOLOv4网络的模型，使用预测框回归方法，麦穗识别精确度为77.68%[11]。张领先等首先扩充了数据集，使用CNN训练麦穗识别模型，麦穗的识别准确率达到99.7%[12]。高云鹏等提出了基于YOLOv3和Faster-RCNN的小麦麦穗检测方法，两种方法分别取得了87.12%和97.00%的识别准确率，单张检测速度分别为0.12 s和0.94 s[13]。鲍文霞等使用拥挤场景识别网络（CSRNet）训练麦穗密度估计模型，采用迁移学习预训练模型，对模型参数调整，模型识别精度为82.11%[14]。郝王丽等使用Faster-RCNN、YOLOv2和YOLOv3网络分别在小麦图像数据集上训练小麦识别模型，最终的小麦识别精度达到了93%[15]。章权兵等使用Faster-RCNN网络为基础框架，在网络中加入注意力机制，将区域建议网络加权处理，提高了网络检测性能，平均检测精度达到了88.5%[16]。麦田麦穗图像背景复杂，种植密度较大，基于图像框检测的方法，在遮挡严重情况下，通用深度学习网络识别效率低，误差较大。

为改善大田复杂环境下的麦穗检测问题，本文将图像处理和深度学习相结合，构建基于深度学习的大田小麦麦穗检测模型，降低了劳动成本，为田间小麦自动化管理提供参考。

本文的主要贡献包括3个方面：

（1）针对复杂背景下大田小麦麦穗检测识别和小麦估产问题，本研究构建了基于PPYOLO网络的小麦麦穗检测模型，对采集到的小麦图像数量进行扩充，通过图像增强处理，提高了麦穗检测模型的准确性和鲁棒性；

（2）在PPYOLO网络的基础上添加了注意力机制SE模块得到PPYOLO-SE网络，并使用大田小麦数据集进行了训练，检测精度相较PPYOLO网络构建的模型提高了2.14%，较其他几种网络模型有明显提高；

（3）PPYOLO-SE模型的单张图像识别速度达到了0.6 s每张。

1 材料与方法

1.1 实验数据

本研究小麦图像的采集日期时间为2021年5月上午9时至15时，天气晴朗光照充足，小麦灌浆期（麦穗外形基本不再变化），在山东农业大学农学实验站采集济麦22图像，麦田总面积约为4 050 m2。为确定拍摄图像画幅尺寸，在小麦冠层上放置参照物，相机垂直向下距离小麦冠层60～70 cm拍摄，共采集1320张小麦图像，采集大田如图1所示，拍摄的部分小麦图像如图2所示。

图1 图像采集大田

图2 大田小麦图像

1.2 图像处理

为了加快模型的训练速度，将图像统一化处理。使用Photoshop按照参照物将图像裁剪并调整尺寸为960×960像素，保留麦穗图像特征的同时减小图片大小。为了克服光照、阴影和遮挡问题，提高模型对小麦麦穗特征的学习能力，使用Matlab对小麦图像进行灰度化，添加噪声，模糊处理和直方图均衡化增强处理，使用LabelImg软件标注穗图像，处理完成后共得到4000张小麦图像，增强后的图像效果如图3所示。

1.3 基于改进PPYOLO网络的麦穗检测

麦田麦穗图像背景复杂，且小麦的种植密度一般较大，可以通过图像分割和图像去噪等处理减少复杂背景对图像的影响，使用支持向量机等分类方法学习麦穗和其他部分的特征。这种方法提高了麦穗的识别准确率，但不同条件下麦穗头部的特征变化较大，要取得更好的识别效果需要研究更多的特征参数，识别模型的鲁棒性会有所下降。而在使用深度学习进行麦穗识别的研究中，性能较好的网络可以多维度的自主学习麦穗图像的特征，面对不同条件下的麦穗图像表现出较为稳定的识别准确率，但基于麦穗识别场景的复杂性和特殊性，通用的深度学习网络在麦穗识别任务中识别精度相较于特征分类方法较低。

由百度开发的开源检测网络PPYOLO使用多种深度学习技巧优化网络[17]，基于百度开源深度学习框架PaddlePaddle开发的检测网络，PPYOLO网络由骨干网络，检测颈和检测头组成。PPYOLO注重于将不同的训练技巧结合，实现更好的检测结果。在各个领域的目标检测中都取得了较高准确率。

相对于新的网络结构，注意力机制的出现使得深度学习网络不再盲目的学习特征，而是对更有用的特征进行着重学习，网络可以专注于输入的某个特定部分。Hu J等提出的SE注意力机制模块在嵌入不同网络后，网络的检测精度均有所提升[17]。注意力机制SE网络，给特征图中每个通道赋予不同权重，网络专注于输入特征图的特定部分，提高网络的检测精度，解决网络中不同特征图不同通道使用相同权值导致的偏差问题。

针对大田麦穗识别率低的问题，本文基于PPYOLO目标检测网络，在其骨干网络的特征提取层后添加注意力机制SE（Squeeze and Excitation）模块，高效的提取麦穗特征，并进行学习，以提高模型检测麦穗的准确率。构建PPYOLO-SE网络，网络结构如图4所示。

图4 PPYOLO-SE网络结构

由图4可知，PPYOLO-SE网络结构是由骨干网络、检测颈及检测头组成，在骨干网络的不同特征体积层后添加SE模块。

1.4 模型训练

为了验证PPYOLO-SE网络模型的有效性，在相同的数据集上训练了PPYOLO网络以及SSD，YOLOv3和Faster-RCNN三种常用目标检测网络作为对比。

本研究的硬件环境：操作系统为Windows10专业版；CPU为Intel i7-11700 2.5 GHz，16 GB计算机内存，图形处理器为Nvidia GeForce GTX 1080Ti 11 GB；Python版本3.7.0；软件环境：PPYOLO-SE网络和PPYOLO网络的深度学习框架为PaddlePaddle 2.1.0，其余网络为Tensorflow1.15.0框架。网络主要参数：学习率设置为0.001，Batch_size为16，Epoch为1200。数据集共4000张，训练集、验证集和测试集比例3:1:1，即训练集2400张，验证集800张，测试集800张。

2 结果与分析

2.1 训练评估

为确定模型的有效性，PPYOLO-SE网络和其他网络均使用相同的训练集和测试集训练，图5为各个网络的训练Loss曲线。

图5 各网络训练Loss曲线图

由图5可知，相同情况下，PPYOLO-SE网络相比其他4种网络收敛值更小，相比PPYOLO收敛较慢，是因为在网络结构中添加SE模块增加了额外的计算量所导致的。综上，PPYOLO-SE的Loss曲线收敛值最小且趋于稳定，训练效果较好。

2.2 模型评估

本文使用卷积神经网络AlexNet模型[14]提取图像的特征信息，AlexNet网络使用(11×11、5×5、3×3)的卷积核，其结构简单，可以快速的提取图像的多维度空间语义信息，其特征可视化图如图3所示。卷积神经网络的卷积函数为X+1=act(XW+b)，其中X表示()层特性输入，X+1表示()层特性输出。当()为0时，0是原始图像。W是()层权值矩阵，b是()层的偏移向量，act是激活函数（Relu），llXW为输入特征与卷积核权重的卷积乘积。

本文使用的模型评价指标为召回率Recall和模型准确率Precision以及模型对单张图片的检测速度。召回率的意义为正确的样本中被成功预测出来的比例，召回率Recall的计算公式为：

式（1）中代表成功预测出的样本个数，为未能被预测出的样本个数。

准确率的含义为成功预测出的样本中的正确比例，准确率Precision的计算公式为：

式（2）中为预测出的样本中正确的样本个数，代表预测出的样本中错误样本的个数。

平均精度AP（Average Precision）代表预测类中每个召回率中最大精确率的平均数，mAP（mean Average Precision）即为各个预测类的平均精度，在本文麦穗检测问题中，mAP即为AP。各个模型的平均检测精度mAP，单张检测速度，召回率和精确率如表1所示。

表1 模型指标

由表1知，PPYOLO-SE的平均精度比PPYOLO，SSD，YOLOv3和Faster-RCNN高，召回率和精确率分别达到97.62%和97.06%，比PPYOLO有所提升，单张图片检测速度0.6 s，相较于PPYOLO较慢，原因是SE模块增加了推理时间。

由（1）和（2）两式的定义可知模型的召回率和准确率同时趋近1时模型精度最高，将模型召回率值作为坐标系轴横，准确率作为纵轴绘制P-R曲线图，5种网络的P-R曲线图如图6所示。

图6 各网络P-R曲线图

Fig.6 All networks P-R curve

模型训练完成后采用同一张小麦图像对5种模型进行试验测试，检测结果如图7所示，可以看出PPYOLO-SE模型较准确的检测出了图中所有的麦穗头部，相对于其他网络错误较少，识别效果较好，而PPYOLO及其他三种模型存在漏检、错检和重复检测情况。综合试验结果及网络模型评估，PPYOLO-SE网络相较于PPYOLO检测精度提升了2.14%，达到了95.75%，相较于其它3种常见的检测网络较高，检测速度为每张图像0.6 s，因此，改进的PPYOLO-SE网络性能满足实时识别要求。

图7 各网络检测效果图

3 结 论

针对复杂背景下大田小麦麦穗检测识别和小麦估产问题，本研究构建了基于PPYOLO网络的小麦麦穗检测模型，通过预处理和图像增强处理，对采集到的小麦图像进行数据集扩充，提高了麦穗识别模型的准确性和鲁棒性。在PPYOLO网络的基础上添加了注意力机制SE模块得到PPYOLO-SE网络，并使用大田小麦数据集进行了训练。结果表明，PPYOLO-SE网络构建的小麦麦穗识别模型准确率达到了95.75%，相较PPYOLO网络构建的模型提高了2.14%，较其他几种网络模型有明显提高；PPYOLO-SE模型的单张图像识别速度约为0.6 s。

构建的PPYOLO-SE小麦检测模型虽在测试集上取得了较高的检测准确率，但使用的训练数据集为小麦灌浆期采集的，小麦品种较为单一，模型在小麦其他生长时期或不同小麦品种的检测任务中可能效果不佳。后期通过使用不同品种的小麦数据集训练可以使模型具有更高的适应性。在当前研究中，利用植物冠层多光谱进行产量估计取得了较好效果，若将深度学习与小麦冠层多光谱图像结合进行小麦估产，使用无人机代替人工采集图像，就可以实现大范围的小麦估产。

[1] 李毅念,杜世伟,姚敏,等.基于小麦群体图像的田间麦穗计数及产量预测方法[J].农业工程学报,2018,34(21):185-194

[2] 李易人.中外农业信息化发展问题比较研究[D].洛阳:河南科技大学,2014

[3] 郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36

[4] 翁杨,曾睿,吴陈铭,等.基于深度学习的农业植物表型研究综述[J].中国科学:生命科学,2019,49(6):698-716

[5] Su D, Kong H, Qiao Y,. Data augmentation for deep learning based semantic segmentation and crop-weed classification in agricultural robotics [J]. Computers and Electronics in Agriculture, 2021,190:106418

[6] Jiang H, Zhang C, Qiao Y,. CNN feature based graph convolutional network for weed and crop recognition in smart farming [J]. Computers and Electronics in Agriculture, 2020,174:105450

[7] Xue T, Qiao Y, Kong H,. One-shot learning-based animal video segmentation [J]. IEEE Transactions on Industrial Informatics, 2022,18(6):3799-3807

[8] Hasan MM, Chopin JP, Laga H,. Detection and analysis of wheat spikes using Convolutional Neural Networks [J]. Plant Methods, 2018,14(1):100

[9] 刘哲,黄文准,王利平.基于改进K-means聚类算法的大田麦穗自动计数[J].农业工程学报,2019,35(3):174-181

[10] He MX, Hao P, Xin YZ. A robust method for wheatear detection using UAV in natural scenes [J]. IEEE Access, 2020,8:189043-189053

[11] 张领先,陈运强,李云霞,等.基于卷积神经网络的冬小麦麦穗检测计数系统[J].农业机械学报,2019,50(3):144-150

[12] 高云鹏.基于深度神经网络的大田小麦麦穗检测方法研究[D].北京:北京林业大学,2019

[13] 鲍文霞,张鑫,胡根生,等.基于深度卷积神经网络的田间麦穗密度估计及计数[J].农业工程学报,2020,36(21):186- 193,323

[14] 郝王丽,尉培岩,韩猛,等.基于YOLOv3网络的小麦麦穗检测及计数[J].湖北农业科学,2021,60(2):158-160,183

[15] 马艳军,于佃海,吴甜,等.飞桨:源于产业实践的开源深度学习平台[J].数据与计算发展前沿,2019,1(5):105-115

[16] 朱张莉,饶元,吴渊,等.注意力机制在深度学习中的研究进展[J].中文信息学报,2019,33(6):1-11

[17] Hu J, Li S, Gang S. Squeeze-and-Excitation Networks [C]. Salt Lake City USA: IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018:7132-7141

Field Wheat Ear Detection Based on Deep Learning

ZHANG Zhen-ming1, HUANG Zi-qi1, WANG Dong2, NING Tang-yuan3, SUN Gang4, JIANG Hong-hua1*

1.271018,2.712100,3.271018,4.100101,

Ear recognition of field wheat is an important step in wheat yield estimation. Accurate and rapid ear recognition is the premise of yield estimation. Using deep learning technology to recognize wheat ears in field image can greatly improve the efficiency of counting. Aiming at the problems of mutual occlusion and unequal illumination of wheat plants in the field, this paper added channel attention module to the PPYOLO network, and constructed a wheat ear detection network PPYOLO-SE that paid attention to the balance between recognition accuracy and speed. The network was compared with the original PPYOLO network, SSD, YOLOv3 and Faster-RCNN network in this paper. The recognition accuracy of the PPYOLO-SE is 95.75%, and the recognition time of each image is 0.6s, which is superior to other networks mentioned above, thus verifying the effectiveness of PPYOLO-SE model. This study improved the accuracy and efficiency of wheat ear recognition, reduced the labor cost, and provided a reference for the automatic management in wheat field.

Wheat ear detection; image enhancement; yield assessment; deep learning

TP399

A

1000-2324(2022)05-0790-06

2021-11-18

2022-02-10

山东省重大科技创新工程项目(2019JZZY010716); 山东省农业重大应用技术创新项目(SD2019NJ001)

张震明(1998-),男,在读研究生,专业方向:农业物联网技术与工程. E-mail:2021120975@sdau.edu.cn

通讯作者:Author for correspondence. E-mail:j_honghua@sdau.edu.cn