刘东，曹光乔，李亦白，陈聪

(1.农业农村部南京农业机械化研究所，南京市，210014；2.中国农业科学院研究生院，北京市，463000)

0 引言

抽穗扬花期是小麦生长、病虫害防治的关键时期，该时期对小麦的产量和品质有直接影响。麦穗数作为小麦生长的重要参数，常用于产量预测和种植密度评估，成长期小麦麦穗数对后期水肥管理和虫害防治有重要影响作用。以小麦赤霉病为例，赤霉病作为小麦抽穗期的主要病害，不仅影响小麦产量和品质，对人畜健康和生命安全也构成直接威胁[1-2]，相关学者研究表明小麦赤霉病的最佳施药期为齐穗期(抽穗株率80%)至扬花初期[3-4]。因此实现抽穗扬花期小麦麦穗自动识别计数，对赤霉病防治、后期水肥管理和产量预测都有较大作用。

目前已有国内外学者将图像处理和视频检测技术应用于作物生长检测。小麦方面，已有学者利用图像处理技术对麦穗进行识别计数。范梦扬等[5]研究了一种针对局部小范围的小麦麦穗计数方法，通过提取麦穗的颜色、纹理特征，将麦穗轮廓与背景分离，并将麦穗轮廓细化确定麦穗数量。刘涛等[6]针对不同播种方式，分析了利用颜色特征和纹理特征分割麦穗的优缺点和粘连区域麦穗个数的计算方法，准确率分别为95.77%和96.89%。刘哲等[7]提出了基于改进K-means的小麦麦穗计数方法，该方法建立从图像低层颜色特征到图像中包含麦穗的一个直接分量关系，从而不需要对图像进行分割或检测。李毅念等[8]通过颜色空间转换、去除细窄处粘连算法进行初步分割，再利用基于凹点检测匹配连线的方法实现粘连麦穗的分割。但其图像需要在特定装置内以田间麦穗倾斜的方式获取，具有一定的局限性。郝王丽等[9]提出了基于YOLOv3的深度神经网络小麦检测方法，但其检测范围为特定标注框内的小麦，存在小麦遮挡、重叠以及特定标注框内小麦越界到框外、框外小麦进入标注框内等情况，导致真实小麦麦穗数和预测小麦麦穗不一致。张领先等[10]设计了基于神经网络的冬小麦麦穗检测计数系统，通过建立麦穗、叶片、阴影三类标签数据集，建立冬小麦麦穗识别模型。针对麦穗重叠面积较小的情况可以较好计数，但对于麦穗重叠面积较大的情况效果不理想。Sadeghi-Tehran等[11]通过简单线性迭代聚类(SLIC)将图像分割为超像素，获得冠层相关特征，然后构建合理的特征模型，并将其输入深度卷积神经网络(CNN)分类，实现小麦麦穗的语义分割，其计数值与真实值的决定系数R2达0.94。

上述研究虽然都是小麦麦穗识别计数，但其研究目的是小麦产量预测和种植密度评估，研究对象多为成熟期小麦图像，该时期小麦麦穗与叶片颜色差异较大，识别效果较好，且该时期处于生长晚期，麦穗计数无法指导病虫害防治等植保环节。抽穗扬花期麦穗与叶片颜色非常接近，若直接应用现有研究方法效果不理想，且现有研究针对粘连区域麦穗识别计数问题还需优化。针对上述问题，本文以抽穗扬花期小麦为研究对象，使用无人机获取小麦冠层影像，通过图像处理技术识别小麦麦穗个数，并利用改进Harris角点检测算法准确实现粘连麦穗计数，为了解小麦长势监测和后期病虫害防治提供参考。

1 材料与方法

1.1 图像获取及分析

麦穗图像拍摄于2021年4月23日南京市栖霞区太平村(32°02′651″N，118°52′301″E)，小麦品种为杨麦12、杨麦16。使用大疆御mini无人机搭载RGB可见光相机，拍摄时间为10:00～12:00，在晴天逆光条件下垂直、45°视角拍摄，其中垂直拍摄30幅、45°视角拍摄30幅，飞行高度150 cm。由图1可以看出，45°拍摄的小麦冠层图像由麦穗、叶、茎秆构成；垂直拍摄的图像中除麦穗、叶、茎秆外，还有少量裸露的土地。麦穗、叶、茎秆作为图像中的主要部分，三者在颜色和纹理上非常接近，且大田环境下所获取的图像都存在较为严重的麦穗粘连问题。

(a)45°倾斜拍摄

1.2 颜色特征选择

超绿色[12]提取绿色植物图像效果较好，对阴影、枯草和土壤图像有较好地抑制作用，常用于作物识别或杂草识别。但本文的数据样本中麦穗、叶、茎秆颜色相近，且都呈现绿色，因此使用超绿特征识别麦穗效果不理想。直方图均衡化是一种利用灰度变换自动调节图像对比度质量的方法，其基本思想是通过灰度级的概率密度函数求出灰度变换函数，它是一种以累计分布函数变换法为基础的直方图修正法。变换函数T(r)与原图像概率密度函数pr(r)的关系为

sk=T(rk)

(0≤rj≤1，k=0,1,2,…,L-1)

式中：nj——灰度级为rj的像素数；

N——图像的像素总量；

L——图像的灰度级；

s——直方图均衡化后的图像灰度级。

利用直方图均衡化对RGB图像进行处理时，会出现彩色色调改变的现象，对于颜色差异较小的图像，可以利用这种色调改变现象增强颜色区分度。如图2所示，在RGB空间对图像进行直方图均衡化。经过处理后，RGB图像中麦穗和叶、茎秆出现明显色差。

(a)45°夹角拍摄麦田均衡化效果

经直方图均衡化处理后，麦穗和叶、茎秆虽然有较大颜色差异，但少数叶片还是呈现绿色，与麦穗颜色差异不大，因此不能直接进行麦穗提取。RGB颜色空间的单通道及其组合指数常被用来作为特征参数[12-13]，常见的组合指数包括归一化绿红差异指数(NGRDI)、红绿比值指数(RGRI)、绿叶指数(GLI)和过绿指数(ExG)等。提取归一化红绿差异指数作为颜色特征，通过进一步处理能较好地消除叶片的干扰，其公式如下。

NGRDI=(G-R)/(G+R)

式中：G——绿色波段像素值；

R——红色波段像素值。

1.3 二值化图像处理

基于颜色特征提取的麦穗二值化图像中存在麦穗粘连、麦穗孔洞、麦芒、杂质等干扰因素，故不能直接进行麦穗提取。通过对麦穗二值化图像进行形态学腐蚀、开处理，可以消除麦芒、杂质的影响。针对麦穗自身孔洞问题，本研究首先使用孔洞填充算法尝试解决，但效果并不理想，通过尝试使用中值滤波算法可以较好地解决。

1.4 基于PSO改进的角点检测算法

1.4.1 Harris角点检测算法

针对粘连小麦麦穗，本文采用改进Harris角点检测算法实现粘连麦穗的准确识别。角点检测算法主要分为基于图像边缘的方法和基于图像灰度的方法，Harris算法就是基于图像灰度的典型角点检测算法[14-15]，其检测过程可分为三步：梯度计算、响应值计算、角点提取。Harris算法提取角点较为理想，但存在抗噪性差、易产生角点簇、伪角点、运行时间长等缺点。为提高角点检测精度，首先用高斯窗口差分细化图像，确定候选角点，然后计算候选角点与八邻域的像素值差，再次剔除一些候选点。将角点响应函数的最大值(CRFmax)作为阈值，对候选点及八邻域进行角点判别。

角点检测判别式为

CRF=detM-a(traceM)2

式中：CRF——角点响应函数值；

M——灰度相关矩阵；

a——常数。

1.4.2 粒子群优化算法

粒子群优化算法(PSO)最早是由Eberhart和Kennedy于1995年提出，基本概念源于对鸟群觅食行为的研究，其基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。每个个体在搜寻空间中各自拥有其方向和速度，并根据自我经验与群体行为进行搜寻策略调整[16]。其算法数学表达式如下

xi=xi+vi

vi=ωvi+c1rand()×(pbesti-xi)+

c2rand()×(gbesti-xi)

式中：xi——粒子当前位置；

vi——粒子的速度；

c1、c2——学习因子；

p——当前个体极值；

besti——当前全局最优解；

rand()——介于(0，1)之间的随机数；

ω——惯性因子，较大时，全局寻优能力强，局部寻优能力强；较小时，全局寻优能力弱，局部寻优能力强。

Harris角点检测算法中a作为比例系数常数，一般根据经验取值，但其对角点检测结果有很大影响。因此本文通过粒子群算法对比例系数和阈值进行优化，以提高交点数识别的准确率。

1.5 图像处理算法流程

小麦麦穗图像采集后，针对RGB空间进行彩色图像均衡化处理，处理后麦穗和叶、茎秆出现明显色差，但仍有部分叶片难以区分，使用红绿归一化差异指数消除叶片干扰。对麦穗图像进行图像预处理，包括图像分割、二值图像形态学处理。针对粘连区域，首先将麦穗进行细化处理，再采用改进的Harris角点检测算法识别骨架交点，实现图像中麦穗分割计数，算法流程如图3所示。

图3 麦穗计数算法流程图Fig.3 Flow chart of ear counting algorithm

2 试验与结果分析

2.1 麦穗提取

图像分割技术可分为边缘检测技术、阈值分割技术和区域分割技术等，它们分别基于不同区域的边缘、灰度特征阈值、相似性质像素集合等基本思想[17]。麦穗RGB图像经过直方图均衡化处理后的麦穗和叶片在颜色特征上有较大差异，麦穗的绿色特征得到了保留，叶片和茎秆的颜色特征由绿色变为紫色，因此本文直接对彩色图像进行分割，对R、G、B三通道分别进行处理，分割时各颜色波段范围为R>100，G>200，B>50。麦穗提取效果如图4(b)所示。图4(c)、图4(d)为二值图像处理后效果。

(a)直方图均衡化后麦穗图像

2.2 粘连麦穗处理

现有麦穗识别方法中，无论是传统图像处理方法还是基于神经网络的识别方法，麦穗粘连问题都无法避免。如图5所示，与一般的简单边缘粘连不同，麦穗粘连既有边缘粘连也有重合度很大的粘连，通过形态学腐蚀、开运算等处理虽然能解决部分麦穗粘连问题，但无法解决重合度较大的多个麦穗粘连问题。针对粘连问题，本文首先通过细化处理提取麦穗骨架，针对麦穗骨架采用改进Harris角点检测算法进行交点检测，实现粘连麦穗的准确识别。

(a)单个麦穗

2.2.1 图像细化

图像细化一般指二值图像的骨骼化，即从图像中去掉一些点(通常为轮廓上的点)，但仍要保持原来形状，直到得到图像的骨架[18-19]。对重叠的麦穗二值图像进行图像细化(骨骼化)，图6为经过细化算法处理后的图像。经细化处理后虽然分割了部分粘连麦穗，但一些粘连区域的麦穗依旧无法分割。通过参考文献[6]及图像分析，发现粘连区域的麦穗在进行细化操作后虽然无法分割，但相互粘连的麦穗间存在交点[6]，因此在麦穗计数中可以将区域识别个数加交点数作为最终麦穗识别个数。

(a)2个麦穗粘连

2.2.2 交点检测

对麦穗骨架进行角点检测可大大缩短运行时间，增加检测精度，但伪角点依然存在。本文利用基于粒子群算法改进的Harris角点检测算法对粘连麦穗的交点进行识别计数，交点检测效果如图7所示。

(a)2个麦穗的交点

2.3 麦穗计数分析

为验证本文方法的麦穗计数准确率，设人工测量数量为Nm，图像处理算法计算数量为Na，则麦穗计数准确率

每种角度随机抽取10张样本，分别运用本文算法和人工计数方法进行麦穗计数，统计结果如表1、表2所示。小麦图像为640像素×480像素，小麦麦穗计数平均耗时1.1 s，垂直拍摄小麦图像与45°夹角拍摄小麦图像的平均计数准确率分别为96.06%和94.74%。在垂直拍摄的麦穗图像识别中，范梦扬等[5]利用SVM学习的方法的平均精度为93.1%，刘哲等[7]提出的基于改进K-means的小麦麦穗计数方法的精度为94.69%，刘涛等[6]根据颜色特征和纹理特征识别麦穗的精度分别为95.77%和96.89%。本文的计数精度为96.06%，高于前两种，略低于最后一种，能满足大田环境下小麦麦穗统计的需求。除垂直拍摄外，本文为验证粘连麦穗计数精度，选择45°夹角拍摄的小麦图像，其精度达到94.74%，虽低于垂直拍摄的计数精度，但也可实现粘连麦穗的有效计数，因此本文方法可以有效地进行抽穗扬花期小麦麦穗自动计数，为后续病虫害防治作业提供决策依据。

表1 人工统计与算法统计对比(垂直拍摄)Tab.1 Comparison of manual statistics and algorithm statistics (vertical shooting)

表2 人工统计与算法统计对比(45°夹角拍摄)Tab.2 Statistical comparison between manual statistics and algorithm (45° angle shooting)

3 结论

针对抽穗扬花期小麦各部分颜色特征、纹理特征相近和麦穗粘连等导致的小麦麦穗计数准确率不高等问题，本文对该时期小麦麦穗识别计数展开研究。研究结果表明：经直方图均衡化后，原本颜色特征接近的麦穗、叶片出现颜色差异，结合红绿归一化差异指数可以对麦穗进行有效提取。对于粘连区域，首先将麦穗进行细化处理，重合度较大的粘连麦穗其骨架会发生相交，因此采用改进的Harris角点检测算法识别骨架交点，将区域识别个数加交点数作为最终麦穗识别个数，可有效解决粘连麦穗的计数问题。

1)本文方法在不同拍摄角度下，平均计数准确率分别为96.06%和94.74%，可实现大田环境下小麦抽穗扬花期麦穗识别计数。

2)本文算法可用于颜色特征差异较小的抽穗扬花期小麦麦穗识别，实现不同时期小麦麦穗识别计数，可为小麦长势监测、病虫害防治等提供依据。