马秀博，孙熊伟，张德青，王良燕

(1.安徽三联学院 计算机工程学院，合肥 230601；2.中国科学院 合肥物质科学研究院 合肥技术创新工程院,合肥 230088)



基于机器视觉的对靶喷雾系统时延估计方法研究

马秀博1，孙熊伟2，张德青1，王良燕1

(1.安徽三联学院 计算机工程学院，合肥 230601；2.中国科学院 合肥物质科学研究院 合肥技术创新工程院,合肥 230088)

对靶喷雾系统中的时延估计是关系到整个系统实际喷雾命中率的关键问题。首先对经典的机载对靶喷雾模型进行了分析，总结出理论上机载设备长度、硬件延时、算法耗时、农机运行速度和理论对靶精确度之间的关系；然后，在此基础上提出了一套基于双目机器视觉的核心速度测算方法，并设计了喷雾时延估计模型；最后，通过搭建完整软硬件实验平台实现了对算法的有效性验证。实验结果表明：该算法可以在常用的基于机器视觉的农机装备中实现准确的常规对靶喷雾时延估计。

对靶喷雾；机器视觉；时延估计；速度检测

0 引言

在农业生产中，化学防除是非常重要的农业生产技术之一，然而在实际施药过程中药物多施情况十分普遍。过量施药施肥不仅会造成药剂的浪费而且也给环境带来污染。精准喷雾技术通过获取农田小区域内病虫草害的差异性，利用高效喷雾技术和精准对靶喷雾技术实现按需施药。基于机器视觉技术实现对靶喷雾，以其灵活度高、设备开发成本低等特点成为当前国内外精准喷雾技术研究的热点[1-4]。

基于机器视觉技术的对靶喷雾研究中，如何进行精准的喷雾时机控制是整个对靶问题能否成功的关键因素。时机控制方案中速度检测的策略大体又分为如下几种方案：固定时延法[5]、差分GPS策略[6-7]、GPS测速方法[8-9]、机载雷达测速[10]及光电转速传感器等。固定时延法假设农用机械的运行速度稳定，每次喷雾都是利用经验值或者实验值设定固定的喷雾时机。此方法简单易用，不过精确度稍低，只适用于对靶精度要求低或者是农机工作速度稳定的情况。差分GPS定位技术[6-7]同样可以用于速度检测，相比传统GPS技术[8-9]而言，其具有更高的速度检测精度和数据检测频率。不过差分GPS方案一般只适用于开阔的大田作物，且在实际工作的区域内需要建设基站，系统的前期投入费用和后期维护成本都比较高。机载雷达测速的方法[10]测速检测频率较高不过准确率一般，单套设备造价较高且安装位置和设备位姿一般需要专人调试。此外，还有利用光电转速传感器或是磁电转速传感器等测速，方案通过检测转盘转速间接推算出设备作业速度。虽然此类设备造价较低，但是测速精度不高且设备安装要求较高,对人员的操作也有要求。

目前，国内外针对未知环境下的基于机器视觉的导航技术尚处于探索阶段，主要难点在于未知的非结构化环境中，视觉目标信息的多义性、环境信息的复杂性都会给空间位置信息的推算带来困难。由于基于机器视觉的喷雾作业系统受到摄像机帧率及算法处理速度的限制，实际工作时往往相对慢速，且系统工作速度变换也相对稳定。针对此类需求，本文以农机水平方向的工作速度测量为主要研究对象，尝试归纳了经典的靶向喷雾系统模型，并以此为基础设计了一种基于双目机器视觉的在非结构环境下的快速测速算法，以解决常见的基于机器视觉的农机系统中对靶作业速度测量需求。最后，基于双目机器视觉的测速算法搭建出一套精准靶向喷雾系统及硬件设备方案,并完成了对算法的整体有效性验证。

1 对靶喷雾系统时延估计

1.1 对靶喷雾系统理论模型

基于机器视觉的对靶喷雾系统模型首先通过摄像头实时采集作物信息，经核心处理模块分析之后，得到具体的喷雾任务；然后结合农机移动速度估算出对靶系统中喷雾装置移动到指定目标位置的时延，结合具体软硬件响应速度计算出喷头设备最佳启停时机[11-14]。本文首先给出理论情况下速度测量的精准程度对实际喷雾准确率的影响分析。

基于机器视觉的对靶喷雾模型如图1所示。如图1(a)中，精准靶向喷雾是以准确的目标定位和喷雾时延估计为基础的。在时延估计问题中，假设以设备在地面形成的有效喷雾覆盖面积来代表实际的药物覆盖区域。其中，圆面积OA表示实际喷雾覆盖区域，圆面积OB表示期望喷雾覆盖区域，那么OA和OB的实际相交面积比上期望圆面积即为对靶喷雾的实际准确率。具体有效覆盖面积如图1(b)中阴影区域所示。

(a)对靶喷雾模型 (b)有效喷雾覆盖区域图1 基于机器视觉的对靶喷雾模型Fig.1 Target spraying system based on machine vision

假设系统的功能性延时为硬件延时(如电磁阀启动和关闭的响应时延)th，软件延时(图像获取、计算处理时延)ts，其它时延tΔ(系统为模块同步添加的时延)，总时延为tc=th+ts+tΔ。设喷嘴在运动方向上的开口角度为α，喷雾装置高度为h，设备上检测单元到喷雾单元距离为l，喷雾系统理想工作速度vref，实际工作速度v，地表喷雾覆盖区域简化为圆形，半径为r=htan(α/2)，则系统应该满足如下条件，即

(1)

令ε为其它因素导致的距离误差，总的定位误差距离可以表达为

(2)

假设理想情况下，系统功能性延时tc=l/vref，代入公式(2)可得实际的喷雾直线距离误差率。显然，速度估计越接近真实值，直线误差率越小，则

(3)

S=2OAEF-2ΔOAEF

(4)

(5)

在相同设备挂载高度和喷嘴开口角前提下，不同的系统功能性延时和速度误差条件对喷雾准确率变化的影响如图2所示。其中，实时检测的速度为V，Vref为标准速度，α=25°，h=0.75m，vref=1m/s。

图2 不同系统响应时间和速度估计准确率条件下的喷雾准确性Fig.2 Sprayer performance under the different conditions of time delay and velocity estimation

通过对上文的分析可知：设备的检测单元到喷雾执行单元的距离受到软硬件功能性延时和速度估计准确率的双重影响。以图2中最外侧三角拟合线为例，如果将系统的工作速度的检测准确率η控制在0.9左右，则整体的喷雾有效覆盖准确率已经达到80%，此时系统只需要通过设置一额外的10cm喷雾距离作为余量控制，则可完全覆盖目标的整体区域。本文将尝试使用基于机器视觉的方法对喷雾系统的工作速度进行测量，进而完成喷雾作业中的时延估计需求。

1.2 基于双目视觉的快速速度估计原理

随着地形高度的变化，摄像机成像平面上每个像素代表的距离会产生变化。因此，文中采用双目摄像头首先推算地面目标到摄像头的距离信息，再通过计算特征点在相邻视频图像中的移动距离来推算出实际设备的移动速度[15-16]。双目视觉的计算原理如图3所示。

图3 双目视觉的计算原理Fig.3 The principle of binocular stereo vision

已知Zc为摄像机光轴，它与图像平面垂直，f表示摄像机焦距，B为基线距。光轴与图像平面的交点即为图像坐标系的原点， pl和pr分别为地平面上P点的两个映射。透视投影变换矩阵为

(5)

其中，dx、dy、f、u0、v0只与摄像机内部结构相关，可以通过前期标定获取。

然后，算法通过双目视觉三维测量的视差原理推算出相机坐标系下的P(Xw,Yw,Zw)点的空间位置。现有特征点pl=(xl,yl)，pr=(xr,yr)，利用极线约束，特征点P在图像FL和FR上满足yl=yr，由透视投影原理易得

(6)

由于图像坐标系中的实际视差b=xl-xr，由此可计算出点P在相机坐标系下的三维坐标为

(7)

因此，FL像面上的任意一点只要能在FR像面上找到对应的匹配点，就可以确定出该点的三维坐标。

(8)

图4 基于仿射变换原理的运动参数估计Fig.4 Motion parameters estimation based on the principle of

affine transformation

由于特征点P在摄像机空间的坐标位置可以通过公式(7)得出，因此只需要在成像平面上求解特征点的变换关系，即可推导出设备的相对运动变换。在同一平面上拍摄的两帧图像发生相对运动，或平移或旋转或两者皆有，都可以看成是两个图像的坐标轴发生仿射变换。文中使用基于仿射变换的六参数模型及参数求解方案解算变换参数。此时只需要求取对应的3个匹配特征点，即可以推导出平移结果。根据透视投影原理，可得即时速度为

(9)

2 基于速度估计模型的喷雾系统方案

本文将整个喷雾系统模型划分为5个模块：距离参数自动校准模块、目标检测模块、速度检测模块、时延估计模块和喷雾任务执行模块，如图5所示。

图5 喷雾系统模型结构Fig.5 The structure of spray system

系统工作时，目标检测模块获取喷雾任务，将侦测到的喷雾任务实时推送到时延估计模块。距离参数自动校准模块不断更新当前环境下的目标距离，将最新距离参数提供给时延估计模块。时延估计模块结合最新估计的图像位移值和目标距离值解算出实际系统速度，并利用速度信息完成摄像头帧间隔内的系统实际位移计算，通过不断累积的移动距离值推算出整个喷雾任务在队列中是否到达了实际有效喷雾范围。假设根据速度检测模块计算出最新的农机移动速度值为vi，以ts为时间间隔进行积分运算，则距离更新公式为

(10)

由此，系统一旦判定满足条件s>l-εt，则将喷雾执行命令推送到执行模块。其中，vi为第i次检测任务队列时最新获取的农机移动速度，εt为保证喷雾范围覆盖的冗余执行距离。

3 试验与结果

为了验证算法和系统的有效性，本文搭建了喷雾系统实验平台，具体包括：两个HD720p(60HZ)摄像头、嵌入式处理模块(Intel Core Q6700 1.66GHz，512M内存)、电磁阀、电源模块、水箱及0142HD-12-60微型电动隔膜泵，整体测试系统平台布置在小型沙滩车上。软件系统中5大功能模块的设计和实现基于OpenCV2.4.2的视频数据读取模块和Boost1.5.6的多线程模块，整个系统使用C++开发。具体搭建的硬件设备和喷雾系统测试平台搭建如图6所示。

(a) 喷雾设备 (b) 喷雾测试平台图6 喷雾设备及测试平台Fig.6 The spray device and experiment platform

为完成对系统的有效性验证，本文以图6中搭建的硬件测试平台为基础完成了基于机器视觉的速度检测准确性验证实验。实验参数设置如表1所示。

表1 喷雾系统处理模块参数设置

喷角/(°)设备长度/m双目间距/m150.50.08

整个实验过程通过第三方摄像头记录喷雾系统运行位置变化信息，同时对喷雾实验场上道路两侧以50cm为间隔贴上标签以辅助验证“基于双目视觉的速度估计”实际速度还原效率和准确性。实验中，机车沿单轴(设为图7中X轴)直线行驶，系统以时间轴为基准对比系统中速度还原模块解算出的实际车辆速度(加粗虚线标记)和第三方摄像头脱机还原的车辆行驶速度(细实线)。还原出的机车在XY轴平面上的速度、轨迹信息如图7所示。

图7 基于机器视觉的测速结果Fig.7 The performance of vision-based speed detection

图7中，细实线为第三方摄像头拍摄的视频通过脱机分析得出的实验机车关于时间轴的速度分布情况，粗虚线表示以基于双目视觉原理以固定时间间隔解算的速度值和位移估计值。在实验过程中，同样系统运行环境下，系统重复进行了10次实验，最后统计出基于双目视觉的速度估计结果同第三方摄像头利用标签脱机分析的标准速度结果进行对比，其平均轨迹还原准确率达到91.3%，最低为86.0%，最高为96.5%。从统计结果可以看出：文中基于机器视觉的靶向喷雾速度估计算法和时延估计方案，不论从理论还是实际实验结果来看，均可以满足此类对靶系统的工作需求。

4 结论

以基于机器视觉的机载精准靶向喷雾系统为目标平台，提出了一个基于双目机器视觉原理的农机作业速度估计算法，并结合精准喷雾作业原理设计出对靶喷雾时延估计控制模型，最终搭建出一套对靶喷雾系统原型设备。整个系统方案具有如下特点：

1)系统使用机器视觉技术代替了高成本的测速设备，大大减少了设备开发和使用的成本。

2)基于机器视觉技术的设备体积小，工作时在农机上挂载、组合安装灵活度高，并且后期维护简单。

3)设备和算法对工作环境要求简单，可灵活适应小型田块或者温室大棚中的精细化喷雾作业需求。

[1] Rao Hong hui, Ji Chang ying. Research on spray precisely toward crop-rows based on machine vision [C]//Proceedings of first IFIPTC 12 International Conference on Computer and Computing Technologies in Agriculture (CCTA 2007) (II).Boston: Springer, 2008:1435-1439.

[2] A H Kargar B, A M Shirzadifar. Automatic weed detection system and smart herbicide sprayer robot for corn fields [C] //Robotics and Mechatronics (ICRoM), 2013 First RSI/ISM International Conference on.Tehran: Springer, 2013:468-473.

[3] D K Giles, D C Slaughter. Precision band spraying with machine-vision guidance and adjustable yaw nozzles [J]. Transaction of the ASAE, 1997, 40(1):29-36.

[4] 傅泽田，祁力钧，王俊红．精准施药技术研究进展与对策 [J]．农业机械学报，2007，38(1)：189-192．

[5] GilesD K, S laugh ter D C. Precision band spraying with machine-vision guidance and adjust able yaw nozz les [J] . Transaction of the ASAE, 1997, 40(1):29-36.

[6] 王新忠，王熙，王智敏，等．黑龙江垦区精准农业两种GPS差分方式比较研究 [J]．中国农机化， 2004(6)：75-77．

[7] 曹罡，张漫，马文强，等．RTK-GPS系统设计及VRS差分方式分析比较 [J] ．农业工程学报，2010(S2)：141-145．

[8] 何勇，方慧，冯雷．基于GPS和GIS的精细农业信息处理系统研究 [J]．农业工程学报，2002，18(1)：156-159．

[9] 马景宇，潘瑜春，赵春江，等．基于GPS和GIS的农田变量喷药控制系统 [J]．微计算机信息，2006，22(4)：85-87．

[10] TianL,SlaughterD C,NorrisR F.outdoor field machine vision identification of tomato seedlings for automated weed control [J]. Transaetions of the ASAE, 1997, 40(6):1761-1768.

[11] 陈勇，郑加强．精确施药可变量喷雾控制系统的研究 [J]．农业工程学报，2005，21(5)：69-72．

[12] 葛玉峰，周宏平，郑加强，等．基于机器视觉的室内农药自动精确喷雾系统 [J]．农业机械学报，2005(3)：86-89．

[13] 宋淑然，王大飞，孙道宗，等．精准喷雾控制装置的设计与制作 [J] ．农机化研究，2010，32(5)：55-57．

[14] 艾剑锋,章海亮,刘雪梅，等.基于AT89C52单片机的变量喷雾控制系统的设计[J].中国农机化,2011(2):90-94．

[15] 李书杰，刘晓平．摄像机位姿的高精度快速求解[J]．中国图象图形学报，2014，19(1)：20-27．

[16] 李亚楠．基于单目视觉的摄像机轨迹自适应算法的研究与实现 [D]．沈阳：东北大学，2012：32-41．Abstract ID:1003-188X(2017)06-0050-EA

Time Delay Estimation for Automatic Target Spraying System Based on Machine Vision

Ma Xiubo1, Sun Xiongwei2, Zhang Deqing1, Wang Liangyan1

( 1.Department of Computer Engineering, Anhui Sanlian University, Hefei 230601, China; 2.Institute of Technology Innovation, Hefei Institutes of Physical Science, Chinese Academy of Sciences, Hefei 230088, China)

Time delay estimation is the key problem in precision spraying system and its performance strongly influnce on the whole system's spraying accuracy. In this paper, we propose a classical analysis of spraying model and try to summarize the relationship of equipment size, hardware delay, time consuming, vehicle speed and the theoretical spraying accuracy. As the core technology of spraying estimation, a binocular vision speed estimation algorithm is presented. Then, an experimental platform is set up to verify the feasibility and effectiveness of our algorithm. The experimental results show that our method can effectively solve the speed calculation and time delay estimation in vehicle-mounted precision spraying.

toward-target spary; machine vision; time delay estimation; speed detection

2016-05-24

国家自然科学基金项目(31401285，61475163)

马秀博(1987-)，女，河北衡水人，助教，硕士， (E-mail)xiuboma@163.com。

孙熊伟(1987-)，男，合肥人，实习研究员， (E-mail)xiongweisun@163.com。

S49；S126

A

1003-188X(2017)06-0050-05