卜俊怡,孙国祥,王迎旭,魏天翔,汪小旵

(南京农业大学工学院/江苏省现代设施农业技术与装备工程实验室,江苏 南京 210031)

温室高温高湿的环境容易引发虫害,害虫的危害程度和种群密度监测是科学防治决策的重要依据[1]。与人工计数这一传统方式相比,计算机视觉获取害虫信息的方法更为快速和准确,可为及时采取措施防治虫害提供有效技术手段[2-4]。

目前,已有许多学者开展了基于图像处理的害虫计数研究工作[5-12],但对于实际田间采集图像光照不均问题的研究还不够充分。邱白晶等[13]分析蚜虫区、绿叶区和蚜叶区的G分量特点,通过阈值法分割图像并对蚜虫进行计数。杨信廷等[14]通过提取HSI空间的I分量和L*a*b*空间的b分量,并利用Canny和Prewitt算子对图像进行边缘分割,分离得到粉虱和蓟马。上述研究所用的分割方法虽然不同,但都是利用颜色空间的转换来增强害虫与背景的对比度以达到较为理想的分割结果。此类方法对于处理微弱光照不均现象效果较好,但对于处理光照不均较为严重的则效果不佳。近年来害虫图像识别技术也在不断发展[15-20],如陆静等[21]利用F-score评价方法从66个特征参数中选取10个最优参数训练BP神经网络以识别稻飞虱;张银松等[22]利用改进Faster-RCNN模型识别诱虫板上的蚜虫和潜叶蝇;Espinoza等[23]利用一种前馈多层人工神经网络识别粉虱和蓟马。上述识别方法准确率都较高,但只对1种或2种害虫进行识别和计数,不能满足同时监测多类害虫的需要。

本研究针对光照严重不均问题提出了一种基于背景均匀化图像的自适应分割方法,提取诱虫板害虫区域,并提取害虫颜色特征、形状特征和纹理特征,利用一种基于随机森林(random forest,RF)的图像识别方法识别4类温室番茄作物害虫(烟粉虱、潜叶蝇、果蝇和蚜虫),实现多类温室番茄作物害虫的准确识别和计数。

1 材料与方法

1.1 诱虫板图像采集

温室中危害番茄的主要虫害是烟粉虱、潜叶蝇、果蝇和蚜虫(图1)。本试验在种植有‘黑玉一号’小番茄的玻璃温室中安装害虫图像采集装置(图2),其主要由不锈钢框架、诱虫板(20 cm×25 cm)、LED补光灯、三脚架和拍照盒(内置分辨率为3 024×4 036的摄像头)组成。根据害虫趋色性原理利用黄色诱虫板吸引害虫,再由板上高黏度胶粘住害虫以达到诱捕效果,通过定时拍摄诱虫板图像并将图像传输至PC端进行处理。

图1 诱捕害虫种类Fig.1 Species of trapping pest

图2 害虫图像采集装置Fig.2 Pest image acquisition device

害虫图像采集时间为2020年6月6日至7月18日,在此期间日平均气温较高,诱虫板诱捕害虫种类较为全面且数量较多。于6月6日在温室内悬挂5张诱虫板,放置3 d后于6月8日利用图像采集装置拍摄这5张诱虫板图像用于训练害虫识别模型。自6月9日至7月18日每天16:00采集图像用于测试,每隔5 d更换1次诱虫板。

1.2 基于诱虫板图像背景均匀化的自适应分割方法

图像中特定的、具有特殊性质的单一或多个区域,称之为目标或前景;而其他部分则称为图像的背景。图像分割是为了辨识和分析目标,将目标从图像中孤立出来的过程。在诱虫板图像处理中,将害虫目标与诱虫板背景分割开来是最为关键的一步,分割的结果将直接影响后续目标害虫识别和计数的效果。

本试验环境导致采集到的诱虫板图像无法避免光照影响,原始诱虫板图像亮度不均,因此提出一种图像背景均匀化预处理方法。通过对比发现,RGB颜色模型的B分量可以增强白色烟粉虱与黄色诱虫板的对比度,HSV颜色模型的V分量可以增强深色潜叶蝇等害虫与诱虫板的对比度,因此分别取原始诱虫板图像的RGB模型B分量和HSV模型V分量(为后续步骤统一,将V分量与255作差),得到诱虫板灰度图像;采用大小ω×ω的窗口逐行扫描图像,对图像先后进行均值滤波和最小值滤波,得到诱虫板背景图像(经试验,ω=55为最优窗口);按公式(1)[24]将诱虫板灰度图像变换为次均匀光照图像,其目的在于缩小图像局部背景的亮度变化范围。

(1)

式中:Ip(i,j)为诱虫板灰度图像灰度值;Ib(i,j)为诱虫板背景图像灰度值;Is(i,j)为次均匀光照图像灰度值。

由图3可知:原始诱虫板RGB图像中阴影区与明亮区的交界区域在次均匀光照图像中形成“亮带”或“亮块”(图中由红色方框标出),背景亮度过高导致其与害虫区域对比度过小。

图3 光照不均匀区域对比图Fig.3 Comparison of uneven illumination areas

为实现此类区域背景均匀化,需了解其灰度值的变化特征。分析次均匀光照图像的灰度值三维图像(图4)发现,“亮带”和“亮块”区域灰度值在20～85灰度区间波动。在20～30和55～85灰度区间灰度值波动幅度微小,近似呈直线分布;在30～55灰度区间的灰度值基本呈线性分布。

图4 次均匀光照图像灰度值三维截面图Fig.4 Three-dimensional section map of gray value of sub-uniform illumination image

结合上述依据,对0～85灰度区间进行分段调整。设20为最小背景灰度值,各灰度区间调整参数k的计算公式如式(2)所示。最后,通过调整公式(3)获得最终均匀背景诱虫板图像。

(2)

(3)

式中:Iu(i,j)为均匀背景图像灰度值,在20～30、30～55以及55～85区间图像灰度依次收缩1倍、1～2倍和2倍,使背景灰度值在20～42.5区间波动,以达到均匀背景的效果。

经背景均匀化操作后,害虫目标与诱虫板背景对比度显著增强,再通过最大类间方差法确定阈值,对诱虫板图像进行全局阈值分割,得到诱虫板二值图像;对二值图像进行形态学膨胀、孔洞填充和腐蚀算法处理,去除部分细微干扰,填补害虫区域缝隙,使害虫区域更加清晰连贯;将RGB颜色模型B分量图像分割后得到的二值图像与HSV颜色模型V分量图像分割后得到的二值图像融合,获得最终诱虫板二值图像,标定害虫区域,为后续提取特征做好准备。算法流程如图5所示。

1.3 基于随机森林的多类害虫识别方法

1.3.1 温室害虫特征提取常用图像特征包括颜色特征、形状特征和纹理特征等,作为分类器的输入,特征参数的好坏对分类器的泛化能力具有至关重要的影响。根据烟粉虱、潜叶蝇、果蝇和蚜虫的图像特点提取以下特征:

1)颜色特征:烟粉虱呈淡黄白色;潜叶蝇主要为灰褐色,腿、胫节呈灰黄色;果蝇虫体以黄褐色居多,头部复眼呈鲜红色;有翅蚜虫体色多为黑色。取RGB颜色模型、HSV颜色模型各分量的一阶矩(共6个参数)作为颜色特征。

2)形状特征:烟粉虱体长0.85～0.91 mm,静止时两翅合拢呈屋脊状;潜叶蝇成虫体长4～6 mm;果蝇属小型蝇类,体长1.5～4.0 mm;蚜虫体长1.5～4.9 mm,大多约为2 mm。取面积、周长、长轴长度、短轴长度、宽长比、复杂度、椭圆度和离心率8个参数作为形状特征。

3)纹理特征:用刻画图像中重复出现的局部模式和排列规则反映害虫的表面特性。较为经典的纹理特征提取方法是灰度共生矩阵方法,其通过统计不同“灰度对”的共现频率得到灰度共生矩阵,可通过一系列统计量表征矩阵特征。取害虫灰度图像的均值、对比度、均匀性、三阶矩、相关性和熵6个参数作为纹理特征。

1.3.2 害虫分类算法设计决策树是一种利用树形结构进行决策的算法,对于样本数据根据特征进行分叉,最终建立1棵树,树的叶子节点标识最终决策。决策树算法包括ID3、C4.5、CART等,其中,ID3算法采用信息增益Gain(S,A)最大的属性作为分类属性进行分类,直到所有节点分类熵Entropy(S)值为0,分类熵和信息增益的定义如公式(4)和(5)所示。

(4)

(5)

式中:S为样本;c为样本类别数;pi为目标属性的第i个值所对应的样本在总样本S中所占的比例;V(A)为决策属性A的值域;|Sv|为属性A的值为v的样本数量;|S|为总样本数量。

C4.5算法是对ID3算法的改进,该算法加入了前剪枝的步骤并采用信息增益率来选择决策属性,定义如式(6)所示:

(6)

式中:|Si|为属性A的值为i的样本数量。

随机森林的实质是一个将决策树用于袋装算法(bootstrap aggregating,bagging)的模型,本文利用随机森林算法识别害虫,其步骤包括:

1)从样本集中有放回随机选择m个样本;

2)从所有特征中随机抽取n个特征,对选出的样本利用这些特征建立决策树(经对比,选择C4.5算法);

3)重复以上两步k次,得到k个决策树形成随机森林;

4)训练结束后,利用每棵决策树对测试样本进行分类并采取投票的方式决定该样本的最终分类。

2 结果与分析

2.1 诱虫板图像自适应分割结果与分析

2.1.1 基于背景均匀化的图像分割结果根据上述基于背景均匀化的图像自适应分割方法,得到诱虫板图像分割结果如图6所示。其中图6-a—d和图6-e—h分别为RGB颜色模型条件下B分量灰度图像和HSV颜色模型条件下V分量灰度图像经滤波后得到的诱虫板背景图像、背景规范化后的次均匀光照图像以及对比度分段补偿后的均匀背景诱虫板图像。将B分量灰度图像和V分量灰度图像二值化后融合得到最终诱虫板二值图像(图6-j),对比原始诱虫板RGB图像(图6-i)可知,本文设计的分割方法对处理害虫目标与背景对比度较差的图像效果较好。

图6 基于背景均匀化的诱虫板图像分割结果Fig.6 Segmentation result of trapping board image based on background homogenization

图7为本文分割方法在不同光照强度下对诱虫板的分割效果。其中,图7-a—c分别为6月10日、6月 17日和6月19日3 d不同光照强度下所拍摄的诱虫板RGB图像,图7-d—f则为对应的诱虫板二值图像。由于篇幅限制无法列出全部40张诱虫板图像,但所选出的3张图像具有一定的代表性,由图可知本文方法对分割不同光照强度下的诱虫板图像具有较好的适应性。

图7 不同光照强度背景下诱虫板图像分割效果Fig.7 Segmentation effect of trapping board image in different light intensity

2.1.2 基于背景均匀化的图像分割方法分析图8-a—d分别为RGB颜色模型B分量灰度图像和HSV颜色模型V分量灰度图像未经过背景均匀化预处理和经过预处理的诱虫板灰度值三维图像,未经预处理的背景区域呈山脉状,与灰度值较低的目标区域差异较小;而经过预处理的背景区域呈平原状,且与目标区域的对比度明显增强。经预处理后所得的均匀背景诱虫板图像仍为灰度图,本文通过最大类间方差法确定阈值分割图像。为验证本文所提出的基于背景均匀化的自适应分割方法的有效性,将此方法与Sauvola局部阈值法、Prewitt边缘分割法以及k-means聚类法进行对比(表1),以害虫错误提取率(error extraction rate,EER)、害虫漏取率(pest missing rate,PMR)和分割准确率(segmentation accuracy,SA)作为评判标准,公式如下:

图8 诱虫板B分量和V分量灰度值三维图像Fig.8 Three-dimensional(3D)gray value map of B component and V component of pest trapping board

EER=Nee/Nz

(7)

PMR=Nme/Nt

(8)

SA=Nce/Nt

(9)

式中:Nme为害虫漏提取数量;Nee为害虫错误提取数量;Nce为害虫正确提取数量;Nt为人工计数的实际害虫总数量;Nz为自动计数的害虫总数量。

通过对比发现,经背景均匀化处理后的图像分割效果明显优于未经背景均匀化处理的图像。经背景均匀化处理后利用最大类间方差法分割的图像平均害虫错误提取率最低,为4.89%,分割准确率为 95.34%;Prewitt边缘分割方法平均分割准确率最高,但不足之处在于对图像噪声过于敏感,将噪声分割成害虫的情况较多,导致平均害虫错误提取率较高;Sauvola局部阈值法以单一像素点为中心,根据此像素点邻域内标准方差和灰度值计算该像素点的阈值,这一方法可以较好地分离目标害虫和背景,但同时也会产生较严重的“伪影”,导致分割出的目标害虫的形状有所缺失,不利于下一步的识别工作;k-means聚类法其实质也是按灰度值将前、后景分开,因此当光照不均匀时此方法获取的分割标准并不合适。

对比利用4种分割算法分割6月9日至7月18日所获取的诱虫板图像得到的害虫个数和人工计数结果(图9)发现,本文设计的分割算法得到的害虫数量与人工计数结果最为相近;Prewitt边缘分割算法分割出的害虫数量大多比人工计数结果略多;Sauvola局部阈值法分割结果在单日害虫数目较多的情况下与人工计数结果相差较大;k-means聚类法的计数结果比人工计数结果总体偏小。

另外,通过对比发现,光照越弱时往往害虫漏取率越高,这是因为当光照较弱时烟粉虱与诱虫板的颜色对比非常不明显,即使对图像进行了对比度补偿,在图像暗区还是存在烟粉虱的漏取情况;当光照越强时一般害虫错误提取率越高,这是由于诱虫板黏剂产生的反光点亮度过高而被错误识别为烟粉虱害虫。总的来说,相较于弱光照强度,当光照强度较强时害虫分割准确率较高。

2.2 诱虫板害虫分类识别结果与分析

2.2.1 诱虫板害虫分类结果选取6月6日至6月8日采集的5张诱虫板图像中400头烟粉虱、360头潜叶蝇、180头果蝇和200头蚜虫,按6∶4比例随机分为训练样本(即240头烟粉虱、216头潜叶蝇、108头果蝇和120头蚜虫)和测试样本(160头烟粉虱、144头潜叶蝇、72头果蝇和80头蚜虫)。提取并归一化害虫颜色特征、形状特征和纹理特征共20个特征参数作为分类器的输入,随机选取特征,生成500棵决策树,训练随机森林,分类效果如图10所示。

图10 随机森林算法的分类效果Fig.10 Classification effects of random forest method1. 烟粉虱Bemisia tabaci;2. 潜叶蝇Chromatomyia horticola;3. 果蝇Drosophila melanogaster;4. 蚜虫Laingia psammae.

2.2.2 害虫识别方法分析设F1={颜色特征向量},F2={形状特征向量},F3={纹理特征向量},组合不同特征向量输入分类器,对比C-SVC、BP神经网络和随机森林的识别准确率(表2)发现,输入单一特征向量F1、F2、F3得到的害虫识别率最低,但其中输入颜色特征向量的效果最好,这一结果符合人眼的直观感觉;3种特征向量两两组合,F1、F2组合的识别率高于另外2组;当F1、F2、F3组合在一起时害虫识别准确率最高,随机森林的识别准确率为96.31%,C-SVC算法的识别准确率为95.38%,BP神经网络的识别准确率为90.51%。

表2 不同识别算法不同特征向量组合下的目标害虫识别准确率Table 2 Recognition accuracy of target pest with different classification methods and different feature vectors

图11-a—d分别为6月9日至7月18日烟粉虱、潜叶蝇、果蝇和蚜虫通过人工计数方式和自动识别计数方式得到的害虫数量。经统计,4类害虫的总体识别准确率分别为93.89%、90.71%、91.54%和 90.40%。从图11发现:7月烟粉虱数量较6月有所增长,6月初和7月初为烟粉虱数量的2个高峰期;潜叶蝇数量变化趋势与烟粉虱相反,6月数量略多于7月;果蝇和蚜虫的数量也是呈增长趋势。总体上,烟粉虱、果蝇和蚜虫在6月末7月初数量达到峰值,潜叶蝇数量则为最低值。由此可知,不同种类害虫在不同时期的数量变化是不同的,而本文所设计的识别计数算法可以为监测害虫动态提供数据支持。

图11 人工计数和本文自动识别算法得到的4类害虫数量对比Fig.11 Comparison of number of 4 kinds of pests by manual counting and automatic identification algorithm

3 结论

在诱虫板图像光照不均前提下,为实现对温室番茄作物害虫烟粉虱、潜叶蝇、果蝇和蚜虫进行准确识别和计数,本文提出了基于背景均匀化的自适应分割方法和基于随机森林的识别算法。结果表明:

1)基于背景均匀化的自适应分割方法能够有效解决实际环境下诱虫板图像光照不均现象,平均分割准确率为95.34%。剔除错误分割的害虫区域包括诱虫板表面黏剂反光区域和尘埃颗粒等干扰是算法可优化的方向之一。

2)基于随机森林的识别算法通过提取颜色、形状和纹理共20个特征参数对害虫进行分类,平均害虫识别准确率达到96.31%,可以较好地识别4类害虫,达到精确计数的要求。

3)综合利用基于背景均匀化的自适应分割方法和基于随机森林的识别算法,在40 d内对温室番茄害虫烟粉虱、潜叶蝇、果蝇和蚜虫进行识别和计数,总体识别准确率分别为93.89%、90.71%、91.54%和90.40%。