刘哲, 袁冬根, 王恩

(西北政法大学军民融合研究院, 西安 710122)

粮食安全始终是关系我国国民经济发展、社会稳定和国家自立的全局性重大战略问题[1]。保障我国粮食安全对实现全面建设小康社会的目标、构建社会主义和谐社会和推进社会主义新农村建设具有十分重要的意义。为保证国家粮食安全、制定合理的粮食价格及宏观调控政策，需要及时、准确地预测、估算小麦等农作物的预期产量[2]。

目前，小麦田间测产方法主要依靠人工测定单位面积麦穗数，收获后称取千粒重，计算产量估值[3]。该方法费时费力，效率低下。随着机器视觉技术和人工智能的发展，尤其是深度学习技术的日益进步，国内外研究者逐步将图像处理和人工智能技术应用于农作物生长管理和长势估产中。卷积神经网络(convolutional neural network, CNN)是目前较有效的深度学习方法之一，能够直接以图像作为输入，具有识别准确率高等优点[4-5]，已在小麦的杂草和害虫识别[6-7]、植物病害和胁迫诊断[8,9]、农业图像分割[10-12]、产量预报[13-14]等多个领域得到了广泛应用。在小麦长势分析和估产研究方面，张佩等[15]为优选出最佳的冬小麦产量结构要素预报方法，选择冬小麦成穗数、穗粒数及千粒重为预报目标，综合考虑种植品种、密度及地区等因子，采用多元线性回归因子分析进行建模分析，预报精度平均达85.3%。Li 等[16]利用麦穗图像中穗头的颜色和纹理等特征参数并结合神经网络来检测，其正确率在80%左右。朱婉雪等[17]基于冬小麦返青拔节期、抽穗灌浆期和成熟期的无人机遥感影像数据集，采用最小二乘法，构建了基于不同植被指数与冬小麦实测产量的9 种线性模型，估产精度的相关系数指标可达0.8以上。杨俊等[18]利用无人机航拍获取田间小麦主要生育时期的RGB 图像，基于小麦颜色指数和纹理特征参数值对小麦生物量和产量进行分析,相关系数能达到0.91。张波等[19]研发了基于卷积神经网络的冬小麦麦穗检测计数系统，其对麦穗的识别准确率高达99%；Hasan 等[20]训练了4 种R-CNN 模型,对田间小麦进行识别并估算其产量，准确率为88%～94%。Cointault等[21]通过滤波和寻找最大值的方法检测计数所采集田间麦穗图像中的麦穗数，识别精度达到了90%。Xiong等[22]提出了一种基于简单线性迭代聚类(SLIC) 超像素分割的Panicle-SEG算法，通过构建CNN 模型进行训练，并结合熵率超像素最优化，实现了大田环境下水稻稻穗的识别。张领先等[23]在大田环境下提取麦穗、叶片、阴影3类标签图像作为数据集，构建了冬小麦麦穗识别的卷积神经网络结构，并采用梯度下降法对模型进行训练，将构建的冬小麦麦穗识别模型与非极大值抑制结合进行麦穗计数，总体识别正确率达到99.6%。刘哲等[24]提出用改进的K-Means算法进行大田麦穗计数，该算法可以适用于不同光照环境下的麦穗计数，精度可以达到98%。Fernandez-Gallego等[25]利用高频滤波器和低频滤波器去除麦穗图像中出现的低频成分和高频成分，再通过自适应中值滤波器来滤除麦穗周围的噪声，最后利用最大值滤波器分割局部峰值并确定图像中的麦穗数目，识别精度达到90%。李毅念等[26]利用特定装置使麦穗倾斜的方式获取小麦穗部图像，通过颜色空间转换、去除细窄处粘连、粘连麦穗判断、凹点检测分割等算法过程实现图像中粘连麦穗的有效分割，在对田间3 个品种小麦麦穗数识别中，单幅图像平均识别精度为91.63%。

综上所述，运用图像处理技术对田间小麦测产研究主要是通过图像分析对单位面积内麦穗进行识别和计数，然后通过多元回归方法建立数学数学模型，计算出单位面积麦穗数，最后根据千粒重得出小麦产量。综上可知，很少有研究通过图像分析直接精确获取每株麦穗上的麦穗数。改进Bayes抠图算法作为经典的抠图算法，能将前景从背景中精细分割出来。因此，本文以田间小麦群体图像为研究对象，利用改进Bayes抠图算法将自然生长条件下的麦穗图像分割出来，而后运用图像滤波、二值化、腐蚀等算法分离出麦穗上每个单独的小穗，最后对小穗形成的连通区域进行标记和计数，实现麦穗小穗的精确自动计数。

1 材料与方法

1.1 图像获取

田间麦穗图像采集自宝鸡市农业科学院实验基地，位于宝鸡市凤翔县杏林镇。拍摄时间为2018年6月1日至6月5日傍晚时段，此时小麦正处于成熟期，生长态势良好。小麦品种选择在陕西关中地区种植面积较大的西农529、西农511、西农583、陕农33，获取图像样本分别为50幅、50幅、60幅、60幅。选用德国Basler工业相机，采用无线WiFi进行传输，图像分辨率为6 000×3 368像素，格式为JPG，拍摄视场大小为0.75 m×0.42 m。原始图像在小麦自然生长环境下拍摄，如图1所示。

图1 麦穗原始图像Fig.1 Primitive image of wheat ear

1.2 图像算法处理

首先，利用改进Bayes算法对获取的图像进行抠图，将麦穗从自然背景中分割出来；然后对该图像进行二值化，在此基础上运用腐蚀运算进行细化处理，去除麦穗图像中的麦芒，在对图像再进行腐蚀运算，分离出麦穗上每个单独的麦穗小穗；经过膨胀运算、面积滤波、黑洞填充算法处理，每个单独的麦穗小穗形成一个连通区域；最后对连通区域进行标记和计数，完成麦穗小穗的自动计数。

1.2.1改进的Bayes抠图算法 图像抠图的基本原理是把一幅图像简单划分为前景图像和背景图像，其中感兴趣的部分定义为前景图像，不感兴趣的部分定义为背景图像[31]。根据用户指定的前景图像信息和背景图像信息来计算两者之间的边界图像信息，通过计算把用户感兴趣的部分抠取出来。抠图公式可以用(1)式来表示。

C=aF+(1-a)B

(1)

式中，a表示掩像，代表该图像的不透明度，F代表图像的前景部分，B代表图像的背景部分。

α值介于0～1之间。当α=0时，C表示背景图像；当α=1时，C表示前景图像。一般情况下，前景图像和背景图像都是指定的，所以抠图算法的关键就是确定α值，计算两者之间的边界图像信息。改进的Bayes抠图算法包括四个步骤。

①区域划分。人工对原图像进行区域划分，分为确定的前景区域、确定的背景区域和未知区域三部分。

②样本分簇pH。对于未知区域的像素点，使用圆形的活动窗口由未知区域边界的像素点开始逐渐向未知区域中移动，对未知区域像素进行采样，当获取足够的已知背景点和前景点后，对采集到的样本点进行分簇，且假定在颜色空间中这些样本点服从有向高斯分布。

③颜色估计。应用Bayes框架建立颜色估计和掩像值α间的计算模型。运用最大后验概率MAP进行优化求解。在最大后验概率MAP值的估计中，对于未知区域的像素点C，寻找该像素点最有可能的F、B和α的估计值。这个问题就转化为概率分布P(F,B,α|C)上的优化问题[32]。

=argmaxL(C|F,B,α)+L(F)+L(B)+L(α)

(2)

(3)

(4)

(5)

(6)

L(B)与L(F)类似，把w中的αi替换为1-αi。求解过程即为迭代过程，先假设α确定，对式(6)右侧求偏导数，得到六元一次方程组。

(7)

迭代过程转化为解线形方程组问题。

④α值估计。将式(7)结果代入式(8)中，得到新的α掩像值。

(8)

1.2.2图像二值化及迭代极限腐蚀 用改进的Bayes抠图算法将麦穗图像分为背景和麦穗两部分，对于属于背景部分像素，将其值设为0，对于属于麦穗部分像素，将其值设为255，从而实现麦穗图像的二值化。

用迭代极限腐蚀算法对二值化麦穗图像进行4邻域与8邻域结构元素交替迭代腐蚀。1次迭代极限腐蚀包括1次4邻域结构元素腐蚀和1次8邻域结构元素腐蚀，每次腐蚀运算相当于将二值化图像腐蚀掉1层。不断的交替腐蚀会导致不断地出现新的连通区域，但同时会导致一些已经存在的连通区域消失，这就会造成种子点的流失。因此，在得到腐蚀后的图像中保存消失的连通区域，即在每次迭代极限腐蚀后，麦穗小穗种子区域小代替大，有代替无。该方法以原始二值化图像为初始图像，其连通区域为初始种子点，在不断的迭代腐蚀过程中，种子点数目不断增加或者保持不变。迭代腐蚀运算在迭代3次后，基本上能把弱粘连的麦穗小穗分割开来。迭代腐蚀完成后，对保留下的种子区域进行膨胀运算。

1.2.3面积滤波及麦穗小穗计数 经迭代极限腐蚀和膨胀处理后，麦穗上的麦芒完全被去除，麦穗小穗被基本分割开来。但是，图中还残留一些小的区域，不属于麦穗小穗部分，需要用面积滤波滤除掉。

(10)

1.3 算法指标参数设计

为了验证本文方法的性能，采用决定系数R2、统计误差Pe和统计精度Pa三个指标参数对本文方法进行评价，计算公式分别如式(11)～(13)所示。

(11)

(12)

Pa=(1-Pe)×100%

(13)

式中，M是总共要统计的麦穗数，i为第i个麦穗，Yi为本文算法对第i个麦穗上麦穗小穗的计数结果，Xi为人工对第i个麦穗上麦穗小穗的计数结果。

2 结果与分析

2.1 图像处理效果分析

2.1.1抠图效果 利用改进的Bayes抠图算法对麦穗图像进行抠图，去除图中的背景，只保留麦穗，效果如图2所示。背景部分像素的颜色值标记为:RB=255,GB=0，BB=255。麦穗部分像素的颜色值保持不变。由图2可以看出，经过抠图算法处理，能很好将麦穗图像抠出来，为下一步麦穗小穗计数打下基础。

2.1.2迭代腐蚀膨胀效果 对抠图后的麦穗图像进行二值化处理，观察图2第2行可知，绝大多数情况下麦穗上的小穗处于弱粘连状态，即相邻小穗之间只有几个像素粘连。在麦穗顶部，麦穗小穗之间处于强粘连状态，即相邻麦穗小穗之间有很多像素粘连。为了尽可能将处于弱粘连状态的麦穗小穗分割出来，本文利用迭代的极限腐蚀膨胀算法进行分割，结果如图2第3行所示。经过迭代腐蚀和膨胀，可以将弱连接的麦穗小穗完全分割开，但是麦穗顶部属于强粘连区域，所以麦穗顶部的小穗不能完全分隔开，需要进行处理。

图2 麦穗图像处理结果Fig.2 Processing results of wheat ear image

2.1.3面积滤波效果 经过面积滤波后，面积极小的非麦穗小穗连通区域被滤除，剩下连通区域即为麦穗小穗，如图2第4行所示。可以看出，经过面积滤波，图中遗留小区域已经被滤除掉，只剩下麦穗小穗图像。利用本文提出的小穗计数方法，找出小穗的闭合轮廓，并加以标记，如图2第5行所示，直接可以计算出小穗数。

2.2 麦穗小穗计数分析

4个品种田间麦穗图像中的麦穗小穗数计数预测值与实测值的相关关系如图3所示，可以看出，图像预测的麦穗小穗数与实测麦穗小穗数具有极显著的线性相关性，所有品种的计数预测值与实测值的决定系数R2都大于0.86。

图3 4个品种小麦图像预麦穗小穗数与实测麦穗小穗数的线性相关关系Fig.3 Linear correlation between predicted value and actual value for grain number in images of 4 varieties of wheat

分别从西农529、西农511、西农583、陕农33小麦样本中各选取40个，进行人工实测计数和本文算法计数的统计分析比较，结果如表1所示。由表1可以看出，与人工实测计数相比， 西农529统计误差是4.92%，统计精度95.08%；西农511统计误差是5.33%，统计精度94.67%；西农583统计误差5.79%，统计精度是94.21%，陕农33统计误差是5.84%，统计精度是94.16%。对于4种小麦品种的麦穗小穗计数，其平均统计误差是5.47%，平均统计精度是94.53%。

小麦品种Wheat variety人工统计Manual statistics算法统计Algorithm statistics统计误差Statistical error/%统计精度Statistical accuracy/%西农529 Xinong 5291 3411 2754.9295.08西农511 Xinong 5111 3321 2615.3394.67西农583 Xinong 5831 3651 2835.7994.21陕农33 Shaannong 331 3531 2745.8494.16平均 Average--5.4794.53

2.3 抠图算法性能分析

在田间生长环境下拍摄的麦穗图像背景非常复杂，用现有的图像分割方法很难将麦穗从背景中分割出来。本文提出基于改进Bayes抠图算法，辅以人工背景标记，能快速准确地将麦穗从背景中分割出来，不但能分割出一个麦穗，而且能将同一幅图上的多个麦穗分割出来。实验统计，使用联想Lenovo 拯救者Y7000(处理器i5-8300H，16 GB内存，全固态硬盘)，对于大小为1 024×1 024麦穗高清图像，本文算法分割1个麦穗大约耗时0.14 s，对于分割3个麦穗大约耗时0.21 s。

3 讨论

本文提出了一种图像处理方法，针对获取自然生长条件下的麦穗图像进行处理得到麦穗小穗数的估计值。该方法最大优势是非接触式测量，不需要采集小麦样本，在田间直接可以操作获取测量参数，快速便捷。

李毅念等[26]利用自制的两端开口的四棱锥，将小麦样本斜靠在四棱锥四周，用相机拍摄麦穗图片，运用图像处理技术和线性回归建立麦穗面积与麦穗小穗数之间的线性关系，从而获取麦穗小穗数，测量精度为93.43%，图像算法估测的麦穗小穗数与实测麦穗小穗数具有较好的线性相关性，其平均决定系数R2为0.82，而本文平均测量精度94.53%，R2为0.871，均较高。算法计数比人工计数的结果偏小，这是因为：①本文算法在进行迭代极限腐蚀时，有可能将小的麦穗小穗图像区域腐蚀掉，造成计数误差；②在麦穗顶部，麦穗小穗与麦穗小穗之间是强粘连，用本文算法对处于麦穗顶部的麦穗小穗不能完全分割开，往往会造成少计数。