张泽清 陈海 蒋浩 方慧

（浙江大学生物系统工程与食品科学学院，杭州310058；第一作者：ztszhang@zju.edu.cn；*通讯作者：hfang@zju.edu.cn）

自动导航技术是农机自主作业的基础，整地、插秧、喷药、除草、收获等环节的自主作业都是建立在自动导航的基础之上。其中，基于卫星定位的自动导航在农业中应用较为广泛，多用于拖拉机等旱地作业。目前，高精度的卫星导航价格高昂，一套可靠的卫星导航定位系统价格从几万到十几万不等，而低精度的卫星导航装置又不能满足精细作业的要求；卫星定位在我国的复杂农田环境中，容易受到干扰而出现信号丢失或多路径效应的现象[1]。相关研究表明，机器视觉可以在一定程度上弥补卫星定位在成本、精度和稳定性等方面的不足[2-3]。

农机视觉导航的关键环节在于导航基准线的提取，国内外许多学者对此进行了系统性的研究。乔智利等[4]研究了胡萝卜、芋头农田中的拖拉机导航线提取，使用改进霍夫变换与最小二乘法相结合的方法提取导航基准线。李勇等[5]提出了基于暗原色的农机具视觉导航线提取算法，该算法适用于不同颜色情况下的农田场景及农田道路导航线提取。Rovira-Más 等[6]使用霍夫变换检测作物行，应用连通性分析确定合适的路径。Sgaard 等[7]提出了一种无需分割、利用多幅连续图像确定农机具的运动从而推断作物行的方法。

然而，插秧机导航技术与其他农机导航（如收割机、打药机）的不同之处在于，一方面插秧机在工作时正前方没有可以参照的作物行，另一方面水稻的生长环境决定了插秧时水田里有较深的泥水，深度一般为20～30 cm，水田地面高低不平，易发生侧滑，影响自动导航精度。目前基于视觉的导航系统尚无商业化应用，也很少有针对插秧机工作环境特点的导航方法研究。

本文针对插秧机的工作环境，研究了基于视觉导航的插秧机导航线提取方法。该方法主要包括颜色空间变换、图像分割、中心点提取、直线拟合、导航参数计算等步骤，流程如图1 所示。通过逆投影变换可以将相机采集到的像素坐标系下的图像转化为相机坐标已知的现实坐标系，此时图像中的像素大小对应已知的真实的长度；颜色空间变换的目的是为了使目标与背景的差异更加明显，便于后续的图像分割；通过图像分割可以将目标对象从图像背景中分离出来；中心点提取是指在图像分割后的图像中选取用于拟合导航线的定位点；直线拟合是指利用霍夫变换、随机一致性采样（RANSAC）等方法进行直线的拟合。

图1 基于视觉的插秧机导航线提取方法技术路线

图2 反光去除效果对比

1 逆投影变换

1.1 建立现实参考系

以插秧机前进方向为y 轴方向，垂直向右为x 轴，以相机视野左边界与下边界相交位置为原点，单位长度为1 cm，相机位置（270，0），建立现实坐标参考系。在插秧机前摆放标志物，使其四顶点现实坐标从左下角逆时针依次 为Pw1（180，180），Pw2（360，180），Pw3（360，360），Pw4（180，360）。

1.2 获取标志点像素坐标

图像像素坐标以图像左上角为原点，横坐标为像素行数，纵坐标为像素列数。在图像中分别取得标志点的像素坐标Pp1,Pp2,Pp3,Pp4。

1.3 逆投影变换矩阵H 解算

在齐次坐标下，有投影关系

其中pp=[xp,yp,1]T为逆投影变换前的点，pw=[xw,yw,1]T为逆投影变换后的点，H为逆投影变换矩阵。

对于一组对应点，根据公式（1），有

将公式（4）代入公式（2,3），有

因此一组对应点可以得到两个有关H的方程，H有8 个约束，至少需要4 组点对H 求解。当输入点数多于4 组时，本文选择重投影误差最小的四组点对H进行解算，即

达到最小的四组点。

2 导航线定位点提取

2.1 秧苗导航线定位点提取

在利用侧边秧苗进行导航时，需对图像进行颜色空间变换、图像分割、中心点选取以得到视觉导航的定位点。

2.1.1 RGB 灰度变换

灰度变换是将相机采集到的彩色图像变为灰度图的过程，一般可以去除噪声，使作物对象和背景的区别更加明显，常用的灰度变换有RGB 法、HIS 法、YCrCb法、暗原色法等。

与其他方法相比，RGB 颜色空间对绿色植物的提取有较好的提取效果，且速度较快，因此本文在分割秧苗和土壤时，选用αG+βB+γR秧苗进行分割，试验表明，α、β、γ 分别为1.8、-1、-1 时分割效果较好。

在实际导航作业过程中，插秧机逆光行驶时，阳光照在水田中会产生镜面反射，导致相机采集到的图片会出现反光现象，影响后续的图像处理和导航结果。反光较为强烈的像素点接近白色，在农机导航过程中，可以利用此特性对异常像素进行剔除，因此原有灰度变换变为

反光去除的效果如图2 所示。

2.1.2 阈值分割

图像分割是指将目标从背景中分离的过程，图像分割的传统方法包括阈值法、边界检测法、区域法等，新方法包括各种超像素的图像分割方法如图论法、聚类法、分类法等。超像素法将利用像素及像素间的相互信息，实现图像像素的分类。在本方法中需要分割的对象仅为秧苗和背景土壤，对经过颜色空间变换后的图像应用阈值法分割能够实现简单高效分割。

2.1.3 中心点选取

对分割后的二值图像，包含作物的像素为1，不包含作物的像素坐标为零，因此图像的像素值从0 到1或从1 到0 可以作为作物的边界。根据秧苗所在导航线只在插秧机一侧的特点，从图像中央向两端遍历，记录作物行边界点，利用宽度判断边界点是否有效，若边界点有效则求取作物行中点并保存。为了加快图像处理速度，每隔20 像素行遍历一次图像记录作物行边界点，并求取作物行中点，将每一行中最靠近图像中央的点作为导航线拟合点。

2.2 边界导航线定位点提取

利用农田边界导航时无法利用作物和土壤之间的颜色灰度差异，因此可以利用灰度产生突变位置的信息，即提取图像中的轮廓信息。

2.2.1 大津法图像分割

在利用农田边界进行导航时，其分割对象不再是绿色植物，因此选用灰度变换得到灰度图像，使其具有与原始彩色图像相同的亮度[8]。

采用大津法对灰度图进行图像分割。大津二值化法自动对基于聚类的图像进行二值化，即将一个灰度图像退化为二值图像。该算法以日本的大津展之命名，算法假定该图像根据双模直方图（前景像素和背景像素）包含两类像素，于是它要计算能将两类分开的最佳阈值，使得它们的类内方差最小；由于两两平方距离恒定，所以即它们的类间方差最大[9]。因此，大津二值化法粗略的来说就是一维Fisher 判别分析的离散化模拟。

2.2.2 轮廓提取

轮廓提取采用Satoshi 提出的边界拓扑分析的算法[10]，将图像分割后的二值图中所有轮廓编号，从轮廓中筛选出轮廓最长的即是农田边界，提取其靠近图像中心一侧边界用于后续导航线的直线拟合点。所提取的边界如图3 左图中白色粗线部分所示。

图3 图像中农田边界的轮廓

图4 不同方法拟合效果对比

3 导航线与参数计算

3.1 导航线拟合

利用边界导航和秧苗导航时，需要对得到的定位点进行拟合得到导航线，常用的方法有霍夫直线拟合、最小二乘法、RANSAC 法，对于含有较多噪声的点，可以使用RANSAC 法进行直线拟合。

RANSAC 算法的输入包括一组观测数据（点集）、拟合观测数据的含参模型（直线）及其参数。本算法通过迭代选择数据中的随机子集实现模型拟合，被选取的子集被假设为有效（inline）点，其验证方法如下：

1）假设有一个模型可以解释随机选择的一部分初始有效点，该模型未知参数可以从初始有效点计算得到；2）用1）中得到的模型去对所有的其它数据进行验证，若数据在允许范围内符合此模型，则将其归为有效点；3）当有效点数量到达一定比例时，认为此模型有效；4）用此时所有的有效点重新计算模型；5）通过估计有效点比例与模型的错误率来衡量模型优劣。

上述过程被迭代执行给定次数，每次产生的模型与现有的最好模型比较，若有效点比现有的最佳模型更少，则舍弃此模型；若有效点比现有最优模型更多，则选用此模型。

本研究将同一幅图（图4-a,c）分别用最小二乘法和RANSAC 法进行拟合，得到如图4 所示结果，从中可以看出利用RANCSAC 拟合出正确的直线（图4-d），利用最小二乘法拟合直线结果（图4-b）会受到噪点影响，而RANSAC 法可以将噪点排除，鲁棒性较好。

3.2 导航参数计算

得到拟合参考线的图像坐标后，需要对直线和相机的关系进行计算，得到相机相对导航线的位置，在本文中即导航参数。计算导航参数方法如图5 所示，导航线与图像垂直方向即相机前视方向夹角为航向偏差θ，符号与导航线的斜率相同；导航线与后轮中心点距离为横向偏差d，当导航线在后轮中心点左边时符号为正，反之为负。设拟合参考线上两点P1（X1，Y1）、P2（X2，Y2）。根据几何关系，有：直线。

式中，l0是图像底端和后轮中心点之间的距离，loffset是拟合参考线和目标导航线之间距离。

对于计算得到的导航参数，根据本次导航参数的前5 次导航参数对其进行判断，若其值改变大于一定阈值则舍弃之，最后将有效的导航参数作为后续控制模型的输入。

4 视觉定位精度实验与分析

本文研究的视觉导航系统误差主要考虑两种误差，一是由视觉定位方法导致的误差，其二是由于导航控制算法及执行机构引起的误差。本实验的目的在于衡量视觉相对定位的误差，包括不同距离下的距离误差和不同角度下的距离误差。为此实验利用视觉拟合植物作为导航线、计算得到其与相机的距离与实际距离进行比较。

4.1 实验原理

在相机和地面位置不发生相对变化时，可通过图像像素坐标逆投影变换至与现实坐标成比例的俯视图，利用图像处理方法从中获取拟合导航线，并计算与相机的相对距离和所成角度。

如图6 所示，l2直线为仿真植物位置，拟合导航线为视觉拟合得到的导航位置，改变相机（前视方向）与待拟合直线（仿真植物）的距离和角度，观察视觉计算所得导航线的横向距离与实际横向距离关系，其实物图如图7 所示。

图5 航向偏差θ 和横向偏差d 计算示意图

图6 视觉导航误差测量示意图

4.2 实验材料与实验步骤

4.2.1 实验材料

实验中用到的材料有相机、相机电源、移动计算机、三脚架、卷尺、仿真植物若干、激光打线仪、量角器、记号笔等。

4.2.2 实验步骤

4.2.2.1 坐标系建立 将相机固定在三脚架上，调节相机高度为h，与水平线夹角为φ，以相机前视方向为Yw轴正方向，在水平面建立平面直角坐标系XwOYw。

4.2.2.2 相机标定 将一个已知大小的方形纸板置于坐标系XOY中，记录方形纸板在此坐标系 的四个顶点坐标；在相机拍摄的图片中记录四个顶点的像素坐标，利用实验原理中的公式计算变换矩阵H。

4.2.2.3 场景模拟 利用两台激光打线器，产生两条距离为dx的平行直线l1、l2，其中，l1与Yw轴重合，夹角“θ”为0，在另一条直线l2上每间隔20 cm 摆放1 株仿真植物。

4.2.2.4 视觉计算 计算相机所得图像中模拟植物所拟合的直线与相机所在位置的距离di。

4.2.2.5 改变两条线的实际距离dx，重复实验得到不同的di；固定实际距离dx，改变前视方向与l1的夹角θ，分别为-15，-10，-5，0，5，10，15，重复实验得到不同的di；误差计算与分析。

表1 夹角为0°时不同距离下的测量距离和角度

表2 实际距离为100 cm 时不同角度下所测量得到的横向距离和所成角度

图8 角度误差和横向误差

图9 实际距离为1 000 mm 时不同角度下的横向距离和角度偏差

4.3 实验结果

实验记录结果如表1 所示。实验结果表明，对于横向位移为100 mm 时，测量的位移平均距离为100.7 mm、标准差为9.8 mm；角度变化为0 时，测量平均角度变化为-0.14°、标准差为0.63°。根据表2，在横向距离为1 000 mm 时，视觉所测得的横向偏差平均为-18 mm，标准差为26.0 mm；角度偏差平均为-1.4°，标准差为0.5°。

由此可知在航向角度较小时，横向偏差的测量平均误差小于1 cm；在航向角度较大时，横向偏差测量平均误差小于2 cm。

5 总结

本文研究了以秧苗和农田边界为导航目标的视觉定位信息提取方法，二者均需先对图像进行逆投影变换得到与现实坐标成比例的俯视图；在以秧苗为导航目标时，通过绿色特征提取，阈值分割和中心点提取得到视觉导航线的定位点；在以农田边界为导航目标时，通过灰度变换、大津法进行图像分割后，利用轮廓线得到视觉导航线定位点；对导航线定位点进行随机一致性采样直线拟合，得到导航线；从而计算相机和导航线的横向偏差和航向偏差，得到定位数据。视觉定位精度的验证表明，在航向角接近0°时其相对定位误差平均值小于1 cm；在横向距离为100cm 时，不同角度下的横向偏差平均小于2 cm、标准差小于3 cm，角度误差测量均值小于-0.14°、标准差小于0.7°。