APP下载

基于作物行特征的小型农业AGV导航基准线提取方法

2022-05-17宫金良张彦斐

关键词:缺苗基准线条形

刘 浩,宫金良,张彦斐

(1. 山东理工大学 机械工程学院,山东 淄博 255049; 2. 山东理工大学 农业工程与食品科学学院,山东 淄博 255049)

随着精准农业概念的提出,视觉传感器在农业机械智能导航、播种、喷药、施肥、收割等方面得到了广泛的应用[1-3].与其他传感器相比,视觉传感器具有收集环境信息丰富、范围宽、目标信息完整等优势,正逐渐成为精准农业的研究热点[4-6].

复杂多变的农田环境成为快速、有效提取导航基准线的一大阻碍,国内外学者对此作了很多研究.文献[7]采用增强G分量减弱R和B分量减弱玉米列阴影对检测过程的干扰,利用过已知点Hough变换拟合出所需导航线,最后通过判断R分量是否突变判断收割机是否到达田端;文献[8]以玉米收获机器人为研究对象,根据玉米垄的走势特征提取导航离散点,基于Hough变换线性拟合导航离散点得到导航路径;文献[9]针对稻田提出一种新的导航线提取算法,该算法利用叶片朝着中央茎区域收敛的特性来识别水稻中心位置,最后根据水稻中心位置拟合出导航线;文献[10]针对2D图像分析经常被杂草、阴影、光照、不规则背景干扰的问题,提出一种基于双目视觉的多作物行检测算法,利用精准立体匹配方法确定特征点位置,进而利用这些特征点快速拟合得到作物行直线;文献[11]针对处于生长初期的玉米农田图像提出一种检测直线和曲线作物行的方法,该方法将图像进行分段处理,利用划分后的感兴趣区域得到候选点,最后利用候选点拟合出直线或曲线.

针对杂草、缺苗等因素对农业机器人自主导航作业造成的影响,本研究提出一种针对玉米3~5叶期小型农业AGV的导航基准线识别方法.在图像预处理阶段,进行超绿色灰度化,将绿色植物(作物与杂草)从土壤背景中分割出来,最后利用Otsu法简单、计算量小的优点实现图像分割;在作物行位置检测阶段,首先,利用条形框模拟作物行长度、像素、走向特点,对作物行位置进行初步确定,最后,通过梯形模拟作物行上窄下宽的形状特点,实现作物行位置的最终确定;在导航基准线确定阶段,利用Hough变换统计特性找出白色像素最多的直线作为作物行直线,进而根据两作物行斜率参数生成导航基准线,为避免玉米缺苗造成导航基准线提取失败,将当前帧图像的导航基准线与上一帧图像的导航基准线做对比(第一帧图像不做对比),如果夹角变化超出一定范围,则继承上一帧图像的导航基准线.

1 导航基准线提取算法

1.1 图像预处理

图像预处理的主要目的是消除图像中无关信息,同时增强有关信息的可检测性.针对农田图像,图像预处理的目的是完成作物与农田背景的分割,其主要步骤包括:图像灰度化、图像二值化.

为降低光照对图像分析的干扰,采用RGB颜色空间,利用量纲一化的2G-R-B作为颜色特征因子,将绿色植物(作物与杂草)从土壤背景中分割出来[12-15],处理过程如图1所示.机器视觉系统采集原图如图1a所示,对玉米农田图像采用超绿色灰度化的结果如图1b所示,图中土壤背景(阴影、枯草、土壤)等信息得到了明显的抑制,作物信息得到进一步凸显.OTSU法(最大类间方差法)因其计算效率高、稳定有效被广泛应用[16-18].二值图像中,白色像素代表作物,黑色像素代表土壤背景,图1c为基于OTSU法的处理结果.

图1 图像处理结果

1.2 作物行位置检测

机器视觉系统获取的农田图像包含若干玉米行,其中距离小型农业AGV左、右侧车身最近的玉米行为作物行检测对象.杂草以及图像噪声在空间位置排列上是无序的,但作物行在农田图像中呈现出长度最长、白色像素点最多、走向近似于一条直线、上窄下宽的特点.基于上述特征,在作物行检测过程中,首先,为模拟作物行长度、像素、走向特点,连接图像底部两顶点与顶部两顶点形成条形框,将作物行的位置确定到一定范围内;最后,将条形框下底边两顶点分别向左、右移动一定步长形成梯形,来模拟作物行在图像中上窄下宽的形状特征,并以此提高导航基准线提取准确率.

图2为作物行位置检测结果,初步检测结果用红色实线标出,最终检测结果用蓝色实线标出,可以看出,作物行较为精确地被包含在梯形内.

图2 作物行位置检测

作物行位置检测算法具体步骤如下:

1) 设图像高度为H,宽度为W,图像底边作为条形框、梯形下底边选择范围,图像顶边作为条形框、梯形上底边选择范围.

3) 初始化条形框扫描步长Step、下底边顶点移动步长Bottom_step、数组Num_left、Num_right(分别存放图像Frame_left、Frame_right每个扫描位置白色像素数目)、数组Location(存放每条线段左端点横坐标).

4) 分别将图像顶边、底边均匀划分为W/Step个线段,取线段左端点横坐标x值存入数组Location,并作为扫描候选连接点.

5)设条形框上底边顶点坐标分别为A(Location[i],0)、B(Location[i+1],0),i=0,1,2,…,(W/Step)2/3-1,下底边顶点坐标分别为C(Location[j],H)、D(Location[j+1],H),j=0,1,2,…,(W/Step)2/3-1.

6)为模拟作物行走向(图像Frame_left作物行斜率为正、图像Frame_right作物行斜率为负),同时提高扫描效率,条形框做图3、4所述扫描.

图3 Frame_left扫描流程图

图4 Frame_right扫描流程图

7) 分别求解数组Num_left、Num_right中最大值及其索引,将白色像素数目最多的扫描位置初步视为最接近作物行位置的区域.

8) 将步骤7)获取到的条形框下底边两顶点分别向左、右移动步长Bottom_step,构成模拟作物行形状的梯形条形框.

算法扫描示意图如图5所示.

图5 算法扫描示意图

1.3 导航基准线提取

通过前部分章节的分析,作物行的位置已经被确定到一定范围内.3~5叶期玉米苗心叶连线白色像素数目最多,可以利用Hough直线检测统计特性以及抗干扰能力强、对共存的非直线结构不敏感[19-20]的特点求解白色像素数目最多的直线代表作物行走势.

Hough变换的基本原理在于利用点与线的对偶性.在图像空间所有过点的直线都满足方程:

y=ax+b,

(1)

式中:a为斜率;b为截距.如果用ρ代表直线距离原点的法线距离,用θ代表该法线与x轴的夹角,该直线的Hough变换可以用如下参数方程来表示:

ρ=xcosθ+ysinθ.

(2)

对图2b梯形区域分别进行Hough变换直线检测,求解白色像素数目最多的直线作为作物行直线,检测结果如图6所示,图中红色实线代表作物行直线.

图6 作物行直线检测

已知两玉米行直线斜率为k1、k2后,设导航基准线的斜率为k.根据k和k1之间的夹角正切值等于k与k2之间夹角正切值的关系,计算导航基准线斜率k:

(3)

已知两玉米行直线交点以及导航基准线斜率k,导航基准线提取结果如图7所示,蓝色虚线代表导航基准线.

图7 导航基准线示意图

2 试验结果与分析

2.1 试验条件

本研究的机器视觉系统由摄像机、工控机、液晶显示屏等组成,摄像机采用林柏视公司生产的HD600型号工业相机,图像大小为640×480像素,帧率为30帧·s-1.图像处理在主频为2.60GHz、内存为8.00GB的工控机上进行.

田间试验于2020年7月在山东省淄博市朱台镇生态无人农场玉米种植示范区进行,试验对象为行距65~80cm、有缺苗现象的3~5叶期玉米幼苗.小型农业AGV以0.8m·s-1的速度行驶,每隔5帧处理一次图像.

2.2 作物行位置检测算法试验分析

作物行位置检测算法中图像Frame_left、Frame_right的宽Width、高Hight,扫描步长Step的选择直接影响着算法处理速度和准确率.为得到算法最佳状态时参数Width、Hight、Step的取值,设置以下对比试验,统计不同组合状态下检测准确率以及平均耗时,结果如表1所示.

表1 不同组合状态下检测结果

为验证不同场景下作物行位置检测算法的可行性,试验分别针对正常、存在较多杂草、存在缺苗现象的场景进行了试验.以梯形条形框是否能较好包裹玉米行为评价标准,判断作物行位置检测准确性,并统计不用场景每帧图像平均耗时,结果如表2所示.

表2 不同场景下的作物行位置检测

2.3 导航基准线提取算法试验分析

为判断导航基准线提取的准确性,取人工拟合的两作物行直线角平分线作为衡量标准,当人工拟合的导航基准线与算法提取的导航基准线夹角偏差在±3°内时,认为导航基准线提取有效,反之,认为无效.为验证算法的实时性与可行性,选取了具有代表性的50帧图像利用上述试验方案进行可靠性分析,试验结果显示,处理一帧640×480像素大小的图像平均耗时78ms,实时性良好;导航基准线提取准确率为94%,算法可行性良好.对导航基准线提取失败的3帧图像分析,3帧图像均存在大面积的缺苗现象,导致在作物行位置检测阶段便出现错误.

为避免玉米缺苗造成导航基准线提取失败,根据小型农业AGV行驶过程中道路位置不会突然改变这一特性,将当前帧图像的导航基准线与上一帧图像的导航基准线做对比,当夹角偏差在±3°内时,认为导航基准线提取有效,反之,继承上一帧图像的导航基准线.

3 结 论

1) 采用量纲一化2G-R-B作为特征因子,突出绿色比重,实现超绿色灰度化,最后利用稳定、有效的Otsu实现图像分割,在一定程度上避免了土壤噪声、光照对作物信息提取的干扰.

2) 基于杂草以及噪声空间位置排列无序,而玉米苗株空间排列有序,采用模拟作物行若干特点的方式逐步确定作物行位置.首先,利用条形框模拟作物行在农田图像中的长度、像素、走向特点,将作物行的位置确定到一定范围内;最后,通过将条形框下底边两端点延长一定数值形成梯形条形框,来模拟作物行在农田图像中的形状特点,实现对作物行位置的最终确定.此过程节省了噪声去除、滤波等处理步骤,避免了杂草对检测过程的干扰,同时为变量喷施农药实现杂草去除奠定了基础.

3) 利用Hough变换统计特性找出白色像素最多的直线作为作物行直线,进而实现导航基准线提取.为避免缺苗造成小型农业AGV自主导航失败,将当前帧图像的导航基准线与上一帧图像的导航基准线做对比,如果两者夹角偏差超出一定范围,则继承上一帧图像的导航基准线.此步骤避免了缺苗对算法的影响,与常规检测方法相比,适应性、稳定性更强.

猜你喜欢

缺苗基准线条形
不同杀青处理对条形“宜宾早茶”品质的影响
各式各样的复式条形统计图
山区春播玉米缺苗对产量的影响与对策
玉米缺苗坏种的原因及保苗栽培技术研究
加强国有企业资产负债约束
浅谈如何提高田间出苗率和保苗率
小花园
“条形”统计图速成变身