基于虚拟现实的拖拉机双目视觉导航试验
2017-12-20翟志强朱忠祥杜岳峰毛恩荣
翟志强，朱忠祥，杜岳峰，李 臻，毛恩荣
基于虚拟现实的拖拉机双目视觉导航试验
翟志强，朱忠祥※，杜岳峰，李 臻，毛恩荣
（中国农业大学现代农业装备优化设计北京市重点实验室，北京 100083）
针对农机导航系统的传统田间试验方式受作物生长状态的约束性较强，错过适当的作物生长时期将直接导致开发周期延长、成本增加等问题，该文提出了一种基于虚拟现实技术的拖拉机双目视觉导航试验方法。该方法以拖拉机为作业机械，苗期棉花为目标作物，在虚拟现实环境下建立田间作物行场景的三维几何模型，用于模拟田间试验场景；建立虚拟现实环境下的拖拉机物理引擎，根据实车参数及试验场景信息快速、准确地解算拖拉机的动力学参数，并且根据解算所得的状态参数在虚拟试验场景中实时渲染拖拉机的位姿状态；设计路径跟踪控制器，以经过双目视觉方法识别的田间路径为目标路径，根据拖拉机当前行驶路径与目标路径的相对位置关系解算并控制拖拉机前轮转向角度。以某型拖拉机参数为实车参数，采用大小行距方式布置5行曲线形态的苗期棉花作物行场景开展虚拟导航试验。拖拉机以不大于2 m/s的车速跟踪作物行时，平均位置偏差的绝对值不大于0.072 m、位置偏差的标准差不大于0.141 m；平均航向偏差的绝对值不大于2.622°、航向偏差的标准差不大于4.462°。结果表明：该文设计的拖拉机虚拟试验系统能够在虚拟现实环境下,模拟田间作物行环境开展基于双目视觉的导航试验，可为导航控制系统的测试及改进提供理论依据和试验数据。
虚拟现实；拖拉机；导航；双目视觉；场景建模；路径跟踪；导航试验
0 引 言
农机自动导航技术是在种植面积有限的条件下提高作物产量的有效途径[1]。视觉传感器能够获取丰富的环境信息，使得机器视觉导航的灵活性和适应能力较卫星导航系统更强。按照图像处理方式的不同，机器视觉导航方式可以分为单目视觉导航和双目视觉导航。双目视觉导航系统能够获取景物的空间信息[2]，对于作物和杂草具有相对高程差异的环境具有较好的适应性[3-5]。为提高复杂环境下的视觉导航精度，研究人员在导航线识别方法[6-11]和路径跟踪控制方法[12-16]的设计方面开展了深入研究。田间试验是农机导航系统开发过程中的必要环节。目前农机导航系统的开发需要根据田间试验结果进行反复的设计、制造和测试工作。农机导航系统的田间试验对季节的依赖性较强，受地域、气候和作物生长状态等因素的影响较大。因此农机导航系统的传统开发方式同样受到季节的约束，错过作物适当的生长时期将直接导致开发周期延长和成本增加。虚拟现实技术能够在产品生产之前获得多方面鉴定，为改进设计、提高开发效率、降低成本提供便利[17]。虚拟现实技术在农机领域的应用主要集中于农机产品设计与制造方面，在农机产品虚拟试验方面也有成功应用的实例[18-23]，但在农机导航系统的试验研究方面未见明确报道。商业化视景仿真工具为配置虚拟试验场景提供了方便。如何在三维（three dimensional，3D）虚拟试验场景中模拟农机导航系统的物理属性和工作过程是虚拟试验研究的重点。
综上所述，运用虚拟现实技术在3D虚拟环境下开展农机导航系统的试验研究，是提高开发效率、节省开发成本的新途径。为此，本文以拖拉机为作业机械、苗期棉花为目标作物、双目视觉导航为导航方式，提出一种基于虚拟现实技术的拖拉机导航试验方法[24]：以3ds Max和Multigen-Creator（Creator）为建模工具，Vega Prime（VP）为视景仿真工具，建立虚拟试验场景模型；建立包含车辆动力学模型的拖拉机物理引擎，用以实时解算和模拟拖拉机的位姿状态；设计路径跟踪控制器，根据拖拉机当前路径和目标路径的相对位置关系，解算并控制前轮转向角度；开展作物行跟踪控制虚拟试验，测试双目视觉导航系统的性能。
1 虚拟试验场景建模
建立虚拟试验场景模型，模拟实际田间试验环境。以3ds Max和Creator为建模工具，模型数据格式为VP软件支持的OpenFlight（FLT）格式。虚拟试验场景由拖拉机、作物行和路面组成，建模过程为：1）建立拖拉机模型，仅考虑拖拉机的外观特征、忽略其内部结构。2）建立包含杂草干扰的棉花作物行模型。根据苗期棉花的形态特点，分别建立叶片模型、叶柄模型和主茎模型，形成棉花单体模型。运用棉田中具有代表性几何特点的麦草和酢浆三叶草模拟田间杂草干扰特征，并建立对应的几何模型。根据机械化条播或点播棉花作物行的形态特点，按照一定的行距和株距在虚拟试验场景中放置棉花，并且在指定的平面区域内随机布置杂草模型模拟杂草干扰，由此形成作物行模型。3）建立路面模型。路面模型由外观特征和路面不平度信息组成。其中，路面外观特征通过田间路面图像的纹理贴图表达。路面不平度信息根据田间路面高程变化的均值数据，运用3ds Max的分形工具创建。
根据表1中的试验参数建立虚拟试验场景模型。根据拖拉机轮距、棉花栽培农艺[25]、配套机具尺寸[26]信息和有限的相机视野，采用大小行距种植模式布置5条曲线形态的连续棉花作物行。拖拉机路径跟踪方式为对行跟踪，车轮横跨1条作物行，车轮相邻侧的作物行间距为大行距1.2 m，最外侧作物行间距为标准行距0.76 m。棉花平均高度和杂草平均高度根据田间实测统计数据设定。在VP软件中：配置投影模式，根据1款平行双目相机（Bumblebee 2, BB2-08S2-38）设置基线距离、焦距和视场角参数，用于模拟该相机的成像效果；配置视点位姿，模拟图像采集系统中相机与车身、地面的相对位姿状态。
表1 试验场景统计数据
虚拟试验场景模型在VP环境下的渲染效果如图1所示。拖拉机初始对齐位于中央的1条作物行，路径跟踪过程中以该条作物行为目标路径，如图1a所示。曲线作物行中添加了杂草特征，能够近似模拟实际田间作物行中的杂草噪声，如图1b所示。根据表1中参数配置视点位姿后，设定图像采集规格为640 pixel×480 pixel的RGB图像，所得左、右眼图像分别如图1c、图1d所示，能够近似模拟具有较高杂草密度的棉花作物行，并用于识别导航线。
图1 虚拟试验场景
2 物理引擎建模
2.1 整车数学建模
建立整车模型，模拟拖拉机的动力学状态。本文研究的拖拉机为前轮转向、后轮驱动和制动的结构，并且没有悬架系统；在拖拉机导航试验研究中，车速通常较低。拖拉机整车建模时作出以下简化：将拖拉机的车身简化为刚体；忽略摇摆轴，将拖拉机与车轮简化为刚性连接；前轮转向角度符合阿克曼转向几何理论。由此将拖拉机简化为11自由度的车辆动力学模型，如图2所示。具体包括车身3个轴向移动自由度（X,Y,Z），m；车身3个绕轴转动自由度（,,），rad；4个车轮滚动自由度θ，rad，=1, 2, 3, 4，依次表示左前、右前、左后和右后车轮；1个前轮转向自由度，其中左、右前轮的转向角度分别为1、2，rad。
注：Ob-XbYbZb为车身坐标系，m；Og-XgYgZg为地面坐标系，m；Owi-XwiYwiZwi(i=1, 2, 3, 4)为车轮坐标系，m；ψ1、ψ2分别为左前轮与右前轮的转向角度，rad；θi为车轮滚动角度，rad；p, q, r分别为车身绕轴转动自由度；a, b分别为质心距前轴中心、后轴的距离，m；bf, br分别为前轮、后轮轮距，m。下同。
根据欧拉运动学方程计算拖拉机所受外力对质心的惯性矩矢量为，
联立式（1）~（2）可得在X、Y、Z轴的惯性力矩分量（M,M,M）关于拖拉机角速度的微分方程为
式中1、2、3分别为中间变量，kg·m2。
对拖拉机整车进行受力分析，建立拖拉机的力学方程。某时刻拖拉机的运动状态和受力情况如图3所示。轮胎受到地面的垂向作用力为F(=1, 2, 3, 4)，方向穿过轮心垂直地面并指向上方，N。
注：vt为拖拉机的行驶速度，m·s-1；vtx和vty分别为vt在Ob-XbYb中的纵向、侧向速度分量，m·s-1；ωtz为拖拉机的横摆角速度，rad·s-1；Fwxi、Fwyi(i=1, 2, 3, 4)分别为轮胎受到的纵向力和侧向力，N；vwi为轮胎的行驶速度，m·s-1；vbwxi、vbwyi分别为vwi在Ob-XbYb中的纵向和侧向速度分量，m·s-1；αwi为轮胎侧偏角，rad；ψ1、ψ2分别为左前轮与右前轮的转向角度，rad。
拖拉机自动导航行驶时，车速通常较低，空气阻力较小可以忽略。建立拖拉机整车的力学方程如式（4）~（5）所示。
式中为拖拉机的整车质量，kg；为重力加速度，m/s2；h为拖拉机的质心高度，m；T为轮胎所受的滚动阻力矩，N·m；3=4=0。
2.2 轮胎数学建模
建立拖拉机的轮胎模型，模拟轮胎的地面力学特性。轮胎难以通过统一的模型描述其非线性特性[27]，典型的轮胎模型有魔术公式模型[28]、UniTire模型[29]和Dugoff模型[30]等。为提高仿真实时性，降低轮胎参数获取的难度，采用Dugoff第1类模型近似模拟轮胎的地面力学特性。轮胎坐标系和受力情况如图4所示。轮胎坐标系的原点O为轮胎平面和地平面的交线与轮胎旋转轴线在地平面上投影线的交点。X轴为轮胎平面与地平面的交线，正方向指向轮胎前进方向。Y轴通过O，正方向指向轮胎平面左侧。Z轴通过O且垂直于地平面，正方向指向上方。
根据Dugoff第1类轮胎模型，忽略轮胎的外倾角和回正力矩，车轮未抱死时的轮胎纵向力F和侧向力F为
式中C、C分别为轮胎纵向刚度、侧向刚度，N/rad；s为轮胎的纵向滑动率；α为轮胎的侧偏角，rad。
()为关于轮胎动态参数的函数，用于描述轮胎的非线性特性，可表示为
式中轮胎动态参数表示()的边界条件，决定轮胎纵向力和侧向力的计算形式。的具体计算方法为
注：Ot-XtYtZt为轮胎坐标系，m；Fwx、Fwy、Fwz分别为轮胎纵向力、侧向力和垂向力，N；Mwx、Mwy、Mwz分别为外倾力矩、滚动力矩和回正力矩，N·m；γw为轮胎的外倾角，rad；αw为轮胎侧偏角，rad；ωw为轮胎的滚动角速度，rad·s-1。
式中F为轮胎的垂向地面反力，N；为路面附着系数，近似计算如下[30]，
式中r为轮胎的有效半径，m；μ为路面峰值附着系数；ω为车轮滚动角速度，rad/s；A为速度影响因子，在正常车速范围内，通常为正值，当滑移速度在很小的范围内时，随滑移速度增大而增大，即A为负值[31-32]，文中A取值为0.015。
轮胎纵向滑动率s近似计算为，
式中v为轮心在X轴的纵向速度分量，m/s；ω为车轮滚动角速度，rad/s。
轮胎的有效半径r根据轮胎未变形时的半径r和静态半径r计算得到[32]，
忽略惯性阻力矩和空气升力的作用，可近似得到轮胎侧偏角为
式中α为轮胎的侧偏角，rad；v、v依次为的轮心在O-XYZ中的纵向、侧向速度分量，m/s；为轮胎的转向角度，rad。
假设车轮质量分布均匀，根据动量矩定理对轮心求合力矩，得到车轮的动力学方程为
式中J为车轮的转动惯量，kg·m2；ω为轮胎的转速，rad/s；T为驱动转矩，N·m；T为制动转矩，N·m；F为轮胎纵向驱动力，N；T为滚动阻力矩，N·m。
由于拖拉机为后驱后制结构，当=1, 2时，T=T=0。滚动阻力距T近似由下式计算，
式中为滚动阻力系数；F为轮胎的垂向地面反力，N。
将轮胎的垂向模型简化为刚度阻尼系统，根据轮胎的变形量近似计算垂向地面反力F如式（15）所示。
式中Δz为轮胎的垂向变形量，m；k为轮胎垂向刚度，N/m；C为轮胎垂向阻尼，N·s/m；为拖拉机轴距，=+，m。
Δz可近似由下式计算
式中z1、z2、z3、z4为左前、右前、左后、右后轮胎对应的路面不平度，m；z为拖拉机质心的垂向位移，m。
2.3 路面解算数学建模
建立路面解算模型，用于在VP虚拟试验场景中根据路面信息计算轮胎对应的路面不平度激励。路面解算模型基于VP软件中的地面爬行运动（vpGroundClamp）模块和三脚架（tripod）碰撞检测模块构建，通过检测试验场景中田间路面的起伏变化近似计算拖拉机各个轮胎对应的路面不平度激励。运用vpGroundClamp模块实现轮胎跟随路面运动，通过Tripod模块修正轮胎的位置，使得轮胎保持附着在地面上方。路面不平度解算模型如图5所示。
运用3条线段、、进行碰撞检测，通过3个碰撞点组成三角平面Δ，根据检测到的Δ平面中心法向量的位姿状态（,1,2）近似计算路面不平度。根据三角几何关系计算拖拉机轮胎对应的路面不平度（z1,z2,z3,z4），具体计算方法如下，
注：A为拖拉机前轴中心；M、N、B、C分别为拖拉机左前、右前、左后、右后车轮的轮心；AD、MN和BC的长度分别对应于拖拉机的轴距、前轮轮距和后轮轮距，m；K为ΔABC平面的中心；KH为K的高度值，m；β1、β2分别为ΔABC平面的侧倾角和俯仰角，rad；AG、MP、NQ、BE、CF分别为拖拉机前轴、左前轮、右前轮、左后轮和右后轮对应的路面不平度，m。
3 路径跟踪控制方法
3.1 导航路径获取
基于双目视觉方法识别作物行中心线，并提取导航目标路径。综合运用文献[4-5]中的方法识别作物行中心线，具体过程为：1）运用改进的超绿特征法得到灰度图像；2）采用最小核值相似算子提取植物角点特征；3）以灰度值Rank变换的结果为匹配基元检测角点的视差，并计算角点的3D坐标；4）根据高程、宽度阈值提取作物行特征点；5）运用频数直方图法，通过统计作物行特征点在宽度方向的分布规律，将作物行特征点按行分类；6）运用基于随机抽样一致的主成分分析法拟合作物行中心线。由图1a所示，拖拉机对中间作物行（即位于图像中间区域的作物行）进行路径跟踪，设定该条作物行中心线作为目标导航路径。
构建航位偏差计算模型，根据拖拉机的当前行驶路径和目标路径参数计算拖拉机与目标路径之间的位置偏差d和航向偏差φ（图6）。拖拉机的当前行驶路径与路径坐标系O-XY中的X轴重合，初始状态时原点O位于拖拉机的质心。
φ和d的具体计算公式为
注：Op-XpYp为路径坐标系，m；θp为目标路径与当前路径之间的初始航向偏差，(°)；dp为目标路径与当前路径之间的初始横向偏差，m；dt为拖拉机质心到目标路径的初始距离，即初始位置偏差，m。
式中θ为拖拉机当前路径的航向角，(°)；当拖拉机位于目标路径右侧时，d为正值，反之为负；当拖拉机的航向偏向目标路径右侧时，φ为正值，反之为负；k为目标路径的斜率；b为目标路径的截距。
x,y为拖拉机当前路径上某一点在O-XY中的坐标，可表示为
式中为拖拉机的行驶时间，s。
3.2 前轮转向角计算
构建拖拉机前轮转向角计算模型，根据拖拉机与目标路径之间的位置偏差与航向偏差计算前轮转向角度。基于纯追踪方法[34]建立前轮转向角计算模型，如图7所示。圆弧PO为拖拉机到达目标位置所需驶过的路径。为圆弧PO对应的曲率，定义拖拉机沿逆时针行驶时对应的为正值，反之为负。R为圆弧PO对应的半径，R==IO=1/，m。L为前视距离，m。
根据图7中的几何关系，可推出
根据式（20）和阿克曼转向几何原理，拖拉机的前轴转向角ψ可由下式求解
注：O、、分别为拖拉机的质心、速度瞬心和前轴中心；ψ、ψ分别为前轴中心、质心的转向角，(°)；v、v分别为前轴中心和质心的行驶速度，m·s-1；为v方向与的交点；为目标位置点；为O到目标路径的垂足；、分别为点在坐标轴上的投影点；平行于v方向；为与IO的交点，⊥IO；圆弧PO为拖拉机到达目标位置所需驶过的路径，为圆弧PO对应的曲率；R为圆弧PO对应的半径，m；L=PO为前视距离，m。
Note:O,,are the centroid, instantaneous velocity center and center of front axle;ψis steering angle of center of front axle, rad;ψis the steering angle of centroid of tractor, (°);vis the velocity of center of front axle, m·s-1;vis the velocity of centroid of tractor, m/s;vis the intersection ofvand;is the position of target;is the foot point fromOto the target path;,are projections fromto the axes;is parallel to the direction ofv;is the intersection ofandIO,⊥IO;is the curvature of the arcPO;Ris the radius of the arcPO, m;Lis the look ahead distance,L=PO, m.
图7 前轮转向角计算模型
Fig.7 Computation model of steering angle of front wheel
由式（21），根据阿克曼转向原理计算拖拉机到达目标位置所需的左、右前轮的转向角度1、2为
基于纯追踪方法的拖拉机前轮转向角计算模型中，输入变量为航向偏差φ、位置偏差d和前视距离L，输出变量为左、右前轮转向角1和2。φ和d由拖拉机当前运动状态和目标路径参数决定。L用于模拟驾驶员的操纵经验，其取值影响路径跟踪效果。运用误差性能指标评价方法[35]确定L的最佳取值。
1）设定时间乘以绝对误差的积分（integral time absolute error，ITAE）为性能指标。
式中ITAE为跟踪误差的ITAE指标计算结果，ITAE值越小表明路径跟踪效果越好；为仿真时间内的跟踪误差计算次数；为跟踪误差计算结果的序号，=1,2,3,…,；t为对应的仿真时间，s；e用于衡量跟踪误差，e=|φ+d|。
2）按照由大到小的距离分辨率搜索最优前视距离。设定拖拉机的行驶速度为1 m/s，初始横向偏差d为0.5 m，初始航向偏差θ为5°，仿真时间为35 s。以1 m为距离分辨率，统计L=1, 2, 3, 4, 5, 6 m时对应ITAE值，记录ITAE值最小时对应的前视距离为初始值L。在L附近±1 m的范围内，以0.1 m为距离分辨率，进一步统计不同前视距离对应的ITAE值，ITAE值最小时对应的前视距离为最优值L。
根据上述方法，统计不同前视距离对应的ITAE值，在距离分辨率为0.1 m时，最优前视距离L为2.5 m。
3.2 前轮转向角控制方法
基于经典的增量式比例-积分-微分（proportion，integral，derivative，PID）算法控制转向执行器。转向执行器模型依据课题组前期研究成果[36]构建，本文不作赘述。增量式PID算法的控制规律为
式中Δ()为转向角增量控制信号；k、k、k分别为比例系数、积分系数和微分系数；()、(-1)、(-2)分别为、-1、-2采样时刻的转向角误差，即目标转向角与实际转向角的差值，(°)；为采样周期，s，为采样序号。化PID控制器参数，以实现较好的路径跟踪效果。在PID参数的优化方法中，遗传算法（genetic algorithm，GA）作为一种全局优化算法，具有较好的寻优性，在未给定初始参数的条件下仍能搜索到适当的参数；不需要制定复杂的优化规则，操作便捷。运用GA优化PID控制器的参数，设定种群数量为30；交叉概率为0.9；变异概率为0.01；迭代次数为100；控制器参数的取值范围均为[0，200]。以转向角跟踪偏差的ITAE值为优化指标，ITAE值最小时对应的参数为优化后的控制器参数。经过GA优化后得到的PID控制器参数为，k=2.113 0，k=7.069 8，k=0.368 4。运用优化后的PID控制器参数控制目标转向角为5°的阶跃响应时，上升时间约为1.357 s，超调量约为6.78%，稳态偏差约为0.000 5°。跟踪幅值为5°、周期为5 s的正弦目标转向角信号时，最大偏差为0.955°，平均偏差为0.029°，标准差为0.644°。试验结果表明，经过GA优化所得的PID控制器参数适当，能够使控制器实现较好的跟踪性能。
4 试验与结果分析
根据本文提出的虚拟导航试验方法，在Visual Studio 2008环境下运用C++语言开发软件系统。软件系统为多线程结构，如图8所示。视景渲染线程基于VP三维虚拟仿真模块二次开发，用于实时渲染试验场景和拖拉机的运动姿态；图像处理线程通过采集试验场景中的棉花作物行信息，识别导航路径；物理引擎线程集成了物理引擎模块和路径跟踪控制器模块，用于模拟拖拉机的动力学状态，并且控制拖拉机跟踪导航路径。
以表2中某型号的拖拉机参数为实车参数，图1中的作物行场景为试验环境，在计算机上进行仿真试验。计算机的处理器型号为Inter(R) Core(TM) i5-4440 @ 3.10 GHz，内存为4 GB，操作系统为64位的Windows 8.1。开展作物行跟踪虚拟试验，测试虚拟导航试验系统的性能。
图8 拖拉机虚拟导航试验系统结构
表2 拖拉机参数
注： T,T分别为前轮、后轮轮胎型号； r(=1, 2, 3, 4)轮胎静态半径，m；C轮胎纵向刚度，N·rad-1；C轮胎侧向刚度，N·rad-1；k为轮胎垂向刚度，N·m-1；C轮胎垂向阻尼，N·s·m-1; h为质心高，m； I,I,I分别为拖拉机俯仰转动惯量、横摆转动惯量、侧倾转动惯量，kg·m2；I为拖拉机惯性积，kg·m2。
Note:TandTare types of the front tire of back tire, respectively;r(=1, 2, 3, 4) is the statics radius of wheel, m;Cis the lateral stiffness of tire, N·rad-1;Cis the longitude stiffness of tire, N·rad-1;kis the vertical stiffness of tire, N·m-1;Cis the vertical damping of tire, N·s·m-1; his the height of the centroid tractor, m;I,I,Iare camber, roll and aligning moment of inertia, respectively, kg·m2;Iis the product of inertia of the tractor, kg·m2.
虚拟试验场景如图1所示。虚拟试验中某时刻的作物行场景在虚拟现实系统中的投影显示效果如图9所示。棉田场景由5条近似平行的作物行组成，作物行的平均长度约60 m，-45 m至-60 m的距离区间内具有随机分布的杂草特征。拖拉机的初始位置和航向与位于图像中部的作物行（图像左起第3条作物行）对齐；在视觉导航试验中，拖拉机以该条位于图像中部的作物行作为目标作物行进行跟踪。
图9 拖拉机虚拟导航试验现场图
根据拖拉机两侧车轮运动轨迹的轮廓范围（1.67 m）和车轮相邻侧的作物行间距（1.2 m），确定允许的拖拉机质心横向位移的最大值为0.365 m。设置拖拉机启动1 s后开始跟踪作物行，启动后第46 s时停止跟踪，启动后第48 s时制动；拖拉机启动速度为0.3 m/s，跟踪作物行时的纵向车速为1 m/s，仿真结束时车速为0.2 m/s。
拖拉机跟踪作物行的虚拟试验结果，即跟踪轨迹、左前轮转向角、位置偏差和航向偏差，如图10所示。
图10 作物行跟踪虚拟试验结果
由图10a、图10b可见，拖拉机在跟踪曲线作物行时：通过调整前轮转向角度使得质心沿着目标作物行运动，质心运动轨迹近似与目标作物行的中心线重合；轮心运动轨迹的轮廓线与相邻作物行具有一定间距，表明车轮未碾轧到棉花作物。由图10c、图10d可知，航位偏差变化均匀，无较大幅度的突变，表明拖拉机对曲线作物行的跟踪效果较好。统计拖拉机跟踪曲线作物行的过程中航位偏差的试验数据：位置偏差的最大幅值为0.319 m，小于最大允许的偏差值（0.365 m），表明经视觉识别的导航路径始终位于目标作物行，未发生跨行现象；位置偏差的平均值为-0.069 m、标准差为0.132 m；航向偏差的最大幅值为9.980°、平均值为2.267°、标准差为4.227°。
考察拖拉机纵向车速（以下简称车速）对作物行跟踪效果的影响。分别以0.5、1.5、 2、 2.5和3 m/s的车速在与图9相同的虚拟环境下进行作物行跟踪试验。统计各车速下拖拉机跟踪作物行的左前轮转向角度、位置偏差和航向偏差试验结果如表3所示。试验结果表明：1）拖拉机平均在-45 m的纵向坐标处开始跟踪路径，平均在-82 m的纵向坐标处停止路径跟踪。2）由于在简化拖拉机的车辆动力学模型时未考虑轮胎回正作用，并且PID控制器参数值固定，因此当车速较高时路径跟踪效果下降。3）在2 m/s的车速范围内拖拉机的质心运动轨迹较平稳、近似沿着目标作物行中心线；当车速大于2.5 m/s时，拖拉机在跟踪过程中车轮碾轧到相邻作物行，并且质心的运动轨迹相对目标作物行出现明显波动。
对于本文的路径跟踪控制器，在2 m/s的车速范围内拖拉机对作物行的跟踪效果较好，航位偏差较小且前轮转向角的幅值较小：位置偏差的最大幅值不大于0.347 m、平均值的绝对值不大于0.072 m、标准差不大于0.141 m；航向偏差的最大幅值不大于11.570°、平均值的绝对值不大于2.622°、标准差不大于4.462°；左前轮转向角的最大幅值不大于18.991°、平均值的绝对值不大于0.331°、标准差不大于5.274°。当车速大于2m/s时前轮转向角的幅值明显增大且转向频繁，造成前轮轮胎侧滑，拖拉机在行驶中左右摆动，机身振动幅度较大，作物行跟踪效果较差。
表3 不同车速下作物行跟踪结果统计
注：MA表示最大幅值；MV表示平均值；STD表示标准差。
Note: MA is the maximum amplitude; MV is the mean value; STD is the standard deviation
上述试验结果表明，本文提出的拖拉机虚拟导航试验方法能够在虚拟现实环境下模拟田间作物行场景并开展基于双目视觉的拖拉机导航试验，为导航控制系统的测试及改进提供理论依据及试验数据。
5 结 论
本文基于虚拟现实技术，提出了一种拖拉机虚拟导航试验方法。以苗期棉田作物行试验场景，双目视觉为导航定位方式，开展作物行跟踪虚拟试验，试验结果表明：
设计的拖拉机虚拟导航试验系统能够在虚拟现实环境下，通过可视化仿真的方式有效模拟田间作物行环境开展基于双目视觉的拖拉机导航试验，试验过程便捷、成本较低，避开了传统试验方式对作物生长周期的依赖以和试验过程中易对作物造成破坏的风险；试验结果符合物理规律，能够为导航控制系统的测试、改进提供理论依据和试验数据。
设计的路径跟踪控制系统在拖拉机车速不大于2 m/s时的作物行跟踪精度较高，但前轮转向较频繁，今后的研究中需要考虑轮胎回正作用，并且根据车速调整PID控制器的参数。
由于现有试验条件有限，在设计拖拉机虚拟导航试验系统时对拖拉机的车辆动力学模型、传感器和液压系统等进行了简化，并且未进行实车对比试验。在今后的研究工作中需要完善虚拟试验系统并开展实车对比试验，以进一步验证虚拟试验系统的有效性。
[1] 胡静涛，高雷，白晓平，等. 农业机械自动导航技术研究进展[J]. 农业工程学报，2015，31(10)：1－10. Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1－10. (in Chinese with English abstract)
[2] 翟志强，杜岳峰，朱忠祥，等. 基于Rank变换的农田场景三维重建方法[J]. 农业工程学报，2015，31(20)：157－164. Zhai Zhiqiang, Du Yuefeng, Zhu Zhongxiang, et al. Three- dimensional reconstruction method of farmlandscene based on Rank transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 157－164. (in Chinese with English abstract)
[3] Kise M, Zhang Q, Rovira-Más F. A stereovision-based crop row detection method for tractor-automated guidance[J]. Biosystems Engineering, 2005, 90(4): 357－367.
[4] 翟志强，朱忠祥，杜岳峰，等. 基于Census变换的双目视觉作物行识别方法[J]. 农业工程学报，2016，32(11)：205－213.Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Method for detecting crop rows based on binocularvision with Census transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(11): 205－213. (in Chinese with English abstract)
[5] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi- crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89－103.
[6] Han S, Zhang Q, Ni B, et al. A guidance directrix approach to vision-based vehicle guidance systems[J]. Computers and Electronics in Agriculture, 2004, 43(3): 179－195.
[7] Zhu Zhongxiang, He Yan, Zhai Zhiqiang, et al. Research on cotton row detection algorithm based on binocular vision[C]// Proceedings of 4th International Conference on Applied Mechanics, Materials and Manufacturing, Shenzhen, China, 2014：1222－1227.
[8] Takagaki A, Masuda R, Iida M, et al. Image processing for ridge/furrow discrimination for autonomous agricultural vehicles navigation[J]. IFAC Proceedings Volumes, 2013, 46(18): 47－51.
[9] Guerrero J M, Guijarro M, Montalvo M, et al. Automatic expert system based on images for accuracy crop row detection in maize fields[J]. Expert Systems with Applications, 2013, 40(2): 656－664.
[10] Åstrand B, Baerveldt A J. A vision based row-following system for agricultural field machinery[J]. Mechatronics, 2005, 15(2): 251－269.
[11] Jiang Guoquan, Wang Zhiheng, Liu Hongmin. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429－2441.
[12] Zhang Q, Qiu H, Qiu H. A dynamic path search algorithm for tractor automatic navigation[J]. Transactions of the ASAE, 2004, 47(2): 639－646.
[13] Zhu Zhongxiang, Chen Jun, Yoshida T, et al. Path tracking control of autonomous agricultural mobile robots[J]. Journal of Zhejiang University Science A, 2007, 8(10): 1596－1603.
[14] 吕安涛，宋正河，毛恩荣. 拖拉机自动转向最优控制方法的研究[J]. 农业工程学报，2006，22(8)：116－119. Lü Antao, Song Zhenghe, Mao Enrong. Optimized control method for tractor automatic steering[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(8): 116－119. (in Chinese with English abstract)
[15] 孟庆宽，仇瑞承，张漫，等. 基于改进粒子群优化模糊控制的农业车辆导航系统[J]. 农业机械学报，2015，46(3)：29－36. Meng Qingkuan, Qiu Ruicheng, Zhang Man, et al. Navigation system of agricultural vehicle based on fuzzy logic controller with improved particle swarm optimization algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 29－36. (in Chinese with English abstract)
[16] 李逃昌，胡静涛，高雷. 基于级联式控制策略的农业机械鲁棒自适应路径跟踪控制[J]. 机器人，2014，36(2)：241－249. Li Taochang, Hu Jingtao, Gao Lei. Robust adaptive path tracking control of agricultural machines based on cascaded control strategy[J]. Robot, 2014, 36(2): 241－249. (in Chinese with English abstract)
[17] 王凯湛，马瑞峻. 虚拟现实技术及其在农业机械设计上的应用[J]. 系统仿真学报，2006，18(增刊2)：500－503. Wang Kaizhan, Ma Ruijun. Virtual reality technology and its application in agricultural machinery design[J]. Journal of System Simulation, 2006,18(Supp. 2): 500－503. (in Chinese with English abstract)
[18] Karkee M, Steward B L, Kelkar A G, et al. Modeling and real-time simulation architectures for virtual prototyping of off-road vehicles[J]. Virtual Reality, 2011, 15(1): 83－96.
[19] Inoue S, Ojika T, Harayama M, et al. Cooperated operation of plural hand-robots for automatic harvest system[J]. Mathematics and Computers in Simulation, 1996, 41(3): 357－365.
[20] Melemez K, Gironimo G D, Esposito G, et al. Concept design in virtual reality of a forestry trailer using a QFD-TRIZ based approach[J]. Turkish Journal of Agriculture and Forestry, 2013, 37(6): 789－801.
[21] 臧宇，朱忠祥，宋正河，等. 农业装备虚拟试验系统平台的建立[J]. 农业机械学报，2010，41(9)：70－74. Zang Yu, Zhu Zhongxiang, Song Zhenghe, et al. Establishment of virtual experiment system platform for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(9): 70－74. (in Chinese with English abstract)
[22] 苑严伟，张小超，吴才聪，等. 农业机械虚拟试验交互控制系统[J]. 农业机械学报，2011，42(8)：149－153. Yuan Yanwei, Zhang Xiaochao, Wu Caicong, et al. Interaction control system of agricultural machinery virtual test[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(8): 149－153. (in Chinese with English abstract)
[23] 罗陆锋，邹湘军，程堂灿，等. 采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计[J]. 农业工程学报，2017，33(4)：39－46. Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)
[24] 翟志强. 基于虚拟现实的拖拉机双目视觉导航试验方法研究[D]. 北京：中国农业大学，2017.
Zhai Zhiqiang. A Test Method of Binocular Vision-based Guidance for Tractor Based on Virtual Reality[D]. Beijing: China agricultural university, 2017. (in Chinese with English abstract)
[25] 徐新霞. 行距配置对机采棉花产量形成及采收品质的影响[D]. 乌鲁木齐：新疆农业大学，2015.
Xu Xinxia. Effect of Row Spacing Pattern on Machine-harvested Cotton Yield Formation and Harvest Quality[D]. Urumqi: Xinjiang agricultural university, 2015. (in Chinese with English abstract)
[26] 刘刚. 棉田定向弥雾机的研制与试验[D]. 泰安：山东农业大学，2015.
Liu Gang. Development and Experiment of Cotton Fields Directional Mist Sprayer[D]. Tai’an: Shandong agricultural university, 2015. (in Chinese with English abstract)
[27] 王和毅，谷正气. 汽车轮胎模型研究现状及其发展分析[J]. 橡胶工业，2005，52(1)：58－63.
[28] Pacejka H B, Bakker E. The magic formula tyre model[J]. Vehicle System Dynamics, 1992, 21(Supp. 1): 1－18.
[29] 郭孔辉. UniTire统一轮胎模型[J]. 机械工程学报，2016，52(12)：90－99. Guo Konghui. Unitire: Unified tire model[J]. Journal of Mechanical Engineering, 2016, 52(12): 90－99. (in Chinese with English abstract)
[30] Dugoff H P, Fancher P S, Segel L. An analysis of tire traction properties and their influence on vehicle dynamic performance[R]. SAE Technical Paper, 1970.
[31] 郭孔辉. 用于汽车制动、驱动与转向运动模拟的轮胎力学统一模型[J]. 汽车技术，1992(1)：14－21.
[32] 郭孔辉，刘蕴博，扬阳. 轮胎试验技术的开发研究及其在汽车性能研究中的应用前景[J]. 汽车工程，1990(1)：1－9. Guo Konghui, Liu Yunbo, Yang Yang. A developing study on experimental technique of tire with prospective application for vehicle performance[J]. Automotive Engineering, 1990(1): 1－9. (in Chinese with English abstract)
[33] Rajamani R，王国业，江发潮. 车辆动力学及控制[M]. 北京：机械工业出版社，2011.
[34] Coulter R C. Implementation of the pure pursuit path tracking algorithm[R]. Carnegie-Mellon UNIV Pittsburgh PA Robotics INST, 1992.
[35] 张智刚，罗锡文，赵祚喜，等. 基于Kalman滤波和纯追踪模型的农业机械导航控制[J].农业机械学报，2009，40(增刊1)：6－12. Zhang Zhigang, Luo Xiwen, Zhao Zuoxi, et al. Trajectory tracking control method based on Kalman filter and pure pursuit model for agricultural vehicle[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(Supp. 1): 6－12. (in Chinese with English abstract)
[36] 盛晴. 基于电液比例控制的农业机械转向系统性能研究[D]. 北京：中国农业大学，2016.
Sheng Qing. Study on the Performance of Agricultural Machinery Steering System Based on Electro-hydraulic Proportional Control[D]. Beijing: China agricultural university, 2016.(in Chinese with English abstract)
翟志强，朱忠祥，杜岳峰，李 臻，毛恩荣.基于虚拟现实的拖拉机双目视觉导航试验[J]. 农业工程学报，2017，33(23)：56－65. doi：10.11975/j.issn.1002-6819.2017.23.008 http://www.tcsae.org
Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, Li Zhen, Mao Enrong.Test of binocular vision-based guidance for tractor based on virtual reality [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 56－65. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.23.008 http://www.tcsae.org
Test of binocular vision-based guidance for tractor based on virtual reality
Zhai Zhiqiang, Zhu Zhongxiang※, Du Yuefeng, Li Zhen, Mao Enrong
(100083,)
Machine vision-based guidance of agricultural machinery operates flexibly in complex field. The classical test methods for agricultural guidance systems are based on real field test. There are many problems for the classical test methods, such as high test cost, strong dependence on crop growing period, long test period, and being easy to damage crops. To solve those problems, a novel test method based on virtual reality for binocular vision based guidance system was presented. A virtual system was built with this method. The virtual test system is composed of the modules of test scene, physics engine of tractor, and control of path tracking. The test scene module consists of crop rows, road and four-wheel tractor, which provides image data for pathway detection and road roughness for the tractor. Models of the test scene were created with 3ds Max and Multigen-Creator as modeling tools and with Vege Prime as visual simulation tool. The physics engine of tractor was used to simulate the dynamics of tractor accurately and quickly according to the real tractor parameters and the information of the test scene. The position and attitude of the tractor were solved and rendered in Vega Prime. A simplified model was used to solve the dynamics of the tractor, including the vehicle model, tire model, and road solution model. To reduce the computational cost, the vehicle model was simplified to a model of 11 degrees of freedom, which are 6 degrees of freedom for the attitude of tractor body, 4 degrees of freedom for wheel rolling, and 1 degree of freedom for front wheel steering. The tire model was built based on the model of Dugoff-I to obtain the parameters of tire easily. The road model was built based on the modules of vpGroundClamp and tripod for collision detection, which solves the road roughness of each wheel. The control of path tracking consists of pathway determination, computation of turning angle of front wheel, and control of turning angle of front wheel. A reported and validated crop row detection method based on binocular vision was used to detect centerlines of crop rows. The initial alignment of tractor is located in the middle of the crop rows. Thus the centerline of that middle crop row would be the pathway during the path tracking. A computational model of the front wheel angle was built based on the pure pursuit method. The control of front wheel angle was designed based on the classical increment proportion-integral-derivative (PID) algorithm. Parameters of the PID controller were optimized with the genetic algorithm. Results of tracking a sinusoidal signal with the time of 5 s and 5° amplitude show that the control system responses quickly and overshoot is small. The software of the virtual test system was developed based on the C++ language in Visual Studio 2008. A tractor with the systems of front steering, rear driving and rear braking was used as the operation machine, the cotton at seedling stage was used as the target crop, and the crop row field was taken as the test scene. Virtual tests of tracking the curved crop rows at the tractor speed of 0.5, 1, 1.5, 2, 2.5, and 3 m/s were conducted. Results show that, the virtual test system simulates the crop field and tractor well in the virtual reality environment and can conduct the tests of tractor guidance based on binocular vision. The proposed method could provide theoretical basis and experimental data for the experiment and improvement of the guidance system. Results of path tracking are satisfying for the tractor speed within 2 m/s, and the amplitude, absolute average value and standard deviation of the position deviation are less than 0.347, 0.072, and 0.141 m, respectively; the amplitude, absolute average value and standard deviation of the direction deviation are less than 11.570°, 2.622°, and 4.462°, respectively.
virtual reality; tractors; navigation; binocular vision; scene modeling; path tracking; guidance test
10.11975/j.issn.1002-6819.2017.23.008
TP391.41
A
1002-6819(2017)-23-0056-10
2017-08-16
2017-11-25
国家重点研发计划项目（2017YFD0700403）；国家863计划项目（2013AA102307）
翟志强，男，内蒙古赤峰人，博士生，主要从事机器视觉、虚拟现实技术在农机导航领域的应用研究。Email：srtkyxz@cau.edu.cn
朱忠祥，男，浙江台州人，副教授，博士生导师，主要从事农业机械的设计、仿真，以及自动控制研究。Email：zhuzhonxiang@cau.edu.cn
