基于单目视觉的谷物联合收获机产量测量方法

2021-02-14曾宏伟雷军波陶建峰刘成良

农业机械学报 2021年12期

曾宏伟雷军波陶建峰刘成良

(上海交通大学机械系统与振动国家重点实验室，上海 200240)

0 引言

智能农业装备是未来农业机械发展的重要方向，先进的感知技术是实现农业装备智能化的基础[1]。在收获机械中，农田中作物产量分布信息的准确获取能够为农田精细化管理提供决策依据，具有重要意义[2]。因此，高精度的测产系统是提高收获机械智能化水平的关键技术之一，能够在未来农业智能化生产作业中发挥重要作用。

谷物产量测量传感器是谷物测产系统中最重要的组成部分。按测量原理分类，谷物测产传感器主要包括质量流式和体积流式2类[3-4]。质量流式传感器直接测量单位时间内进入粮仓的谷物质量，常见的有冲量式[5-8]、称量式[9-10]和辐射式[11-12]。其中，冲量式传感器由于结构简单、成本低、安装方便而得到广泛应用，但其校准过程繁琐，且精度易受机器振动、车辆倾角等影响，在真实田间环境下测量精度不稳定。称量式传感器结构较为复杂，且易受到机身振动和谷物流量变化引起的冲击干扰。辐射式传感器通过测量伽马射线或X射线的衰减系数获得谷物的质量流，具有较高精度，但由于具有放射性，易对人体造成伤害，其发展和应用受阻。

体积流式传感器通过测量谷物的体积流量，间接获得谷物的质量流量。目前较普遍的方法是采用光电传感器测量谷物的体积，包括对射式和反射式等。此类方法均需提前抽象出谷堆的几何形状，然后通过测量谷堆的厚度再计算出体积流量[13-15]。然而，由于收获机作业过程中升运器内部会存在较严重的谷物掉落，此类通过光路通断测量刮板上谷物厚度的方法均存在误触发问题，且谷物的掉落具有随机性，误差难以矫正和消除。

相比于红外光电传感器，视觉信息更为丰富，被逐渐用于收获机的产量测量中[16-19]。ZHAO等[17]基于水稻穗部二维图像构建了水稻产量快速预测模型，该方法能够初步估计水稻的田间产量，但前提是假设稻田中麦穗长势是均匀的，且无法获得区域产量分布信息。尹文庆等[18]在实验室采用普通滑槽作为输送器，利用线结构光视觉测量流经滑槽的谷粒截面轮廓，采用梯形微元求和法计算谷物的体积流量。杨刚等[19]基于线结构光三维视觉测量技术开展了谷物测产系统研究，事先将刮板上谷堆形貌近似简化成规则的几何模型，然后通过结构光视觉测量技术得到谷堆的厚度，进而计算出谷物的体积流量。然而，在构建刮板上谷堆几何模型时，谷堆上表面被近似为一个平面，而实际上升运器运动过程中谷堆上表面并非严格的平面，这给谷物体积流量的测量带来了误差。

视觉测量是机器视觉最广泛的应用之一，常用于物体的三维重构以及尺寸检测等[20-21]。根据摄像头数量不同，视觉测量又分为单目视觉测量和双目视觉测量。单目视觉测量方法快速、简单，但应用场景受限，需满足一定条件才能保证准确度。双目视觉通过图像变换和特征匹配获取图像的深度信息，适用范围广、精度较高，但计算过程复杂、耗时长。在联合收获机中，升运器转速较高，要求图像处理算法具有高时效性。此外，升运器内部图像较为单一，单目视觉测量精度能够得以保证。

基于上述分析，为减小刮板上谷堆形貌近似过程中造成的误差，更加准确地反映谷堆的真实几何形貌，本文提出一种基于单目视觉的谷物体积流量测量方法。首先通过工业相机获取升运器内刮板和谷堆的侧面图像，采用邻域微分法提取谷堆图像区域，再利用Otsu法对图像进行分割并得到谷堆侧面的像素面积，然后通过相机成像模型得到谷堆在世界坐标系中的真实侧面积，最后通过体积模型计算得出谷物的体积流量，进而获得谷物产量。

1 基于单目视觉的谷物测产原理

谷物联合收获机作业过程中，作物从田间收割到进入粮仓需要进行脱粒、清选、输送等一系列工序。谷物产量的测量通常在将谷物输送粮仓的装置中进行。目前，粮仓内广泛采用的输送装置主要包括刮板式运输器、螺旋式运输器和抛扬器等。本文针对刮板式输送装置，开展了谷物体积流式测产研究。首先建立刮板上谷堆体积计量模型，然后利用机器视觉和图像处理技术获取刮板谷堆的截面积，再结合建立的谷堆体积模型计算出每个刮板上的谷堆体积，最终得到谷物体积流量以及产量。

1.1 谷物计量模型

刮板式升运器内部构造如图1所示，其由链轮、套筒链条以及刮板组成。橡胶刮板安装在链条上随链条一起转动，将谷物从升运器底部运送到上端，然后抛撒至粮仓中。通过测量单个刮板上的谷物体积，即可获得升运器内谷物的体积流量，再根据谷物的容重就能求得谷物质量流量，收获机的总产量即为每次经过刮板上的谷物质量累加和。由此可见，刮板上谷堆体积模型的准确度直接决定了最终产量的测量精度。

在文献[13-14,19]中，通常将谷堆的形状近似为一个棱柱，假设谷堆的上表面为一个平面，然后通过测量谷堆侧面某一位置的厚度对谷堆的体积进行计算。然而在实际作业过程中，刮板谷堆上表面并非标准的平面。由于升运器运转过程中存在振动，谷物会从刮板四周的间隙掉落，使得谷堆上表面成为一个中间高、四周低的曲面，如图2a所示。为更准确地描绘谷堆形貌、提高测产精度，建立如图2b所示的谷堆几何模型，忽略刮板谷堆短边两侧的塌陷，近似为一个以侧面进行拉伸的几何体。

在图2b中，l、c、d分别为刮板长度、宽度和厚度，a、b、h分别是链条所占的区域长、宽和高，在同型号的收获机上均为常量。记Vgrain为谷堆实际体积，Vtotal表示包含刮板在内的规则几何体的体积，Vscrapper为刮板体积，Vchain代表链条所占的体积，则谷堆体积Vgrain计算式为

Vgrain=Vtotal-Vscrapper-Vchain

(1)

其中

Vscrapper=lcd

(2)

假设谷堆和刮板的截面面积为S，规则几何体的体积Vtotal计算式为

Vtotal=lS

(3)

为简化计算，链条所占的体积Vchain通过将其近似为长方体进行计算，即

Vchain=ab(d+h)

(4)

综合式(1)～(4)，则实际体积Vgrain可以表示为

Vgrain=l(S-dc)-ab(d+h)

(5)

可以看出，式(5)中只存在2个变量：S和h。利用机器视觉技术测量S和h，并提前标定待收割谷物的容重γ，则单个刮板上的谷物质量mi为

mi=γVgrain

(6)

将经过的n个刮板上谷物质量相加，即可得到收获的谷物总质量M为

(7)

1.2 单目视觉测量原理

在联合收获机中，粮仓升运器内部链轮转速最高可达500 r/min以上，此时相邻刮板经过相同位置的时间差约50 ms。换而言之，单个刮板上谷物质量的测量和计算要在50 ms内完成，在部分收获机中链轮转速更高，这对图像处理算法的速度提出了较高的要求。同时，在谷物流量测量中相机与被测物体相对位置是固定的，且距离较近，在此条件下，单目视觉测量的精度得到了保证。综上考虑，本文采用单目相机拍摄刮板上谷堆侧面图像，进行谷堆的侧面积测量。

单目相机尺寸测量原理主要是相机的成像模型[22]，本文主要测量图像中谷堆的尺寸信息，不需要测量谷堆相对世界坐标系的具体位置，因此无需考虑世界坐标系，相机成像示意图如图3所示。

在图3中，OCXCYCZC为相机坐标系，XOY为图像坐标系，UO′V为像素坐标系，OCZC为相机的光轴，f为镜头焦距。对于相机坐标系中的点P(x,y,z)，其通过透镜成像后在像素坐标系的坐标记为P′(u,v)，像点P′和物点P之间的变换关系可表示为

(8)

式中fx、fy——水平、竖直方向的像素焦距

u0、v0——主点水平、竖直方向的像素偏移量

当物平面与像平面平行时，z为固定值，物平面内两点间的实际距离和其在像平面内的像素距离成比例，可表示为

(9)

式中 Δx、Δy——水平、竖直方向的实际距离

Δu、Δv——水平、竖直方向的像素距离

根据式(9)可知，当被测平面与相机平行时，可以通过标定获得物体实际尺寸与像素尺寸比例，从而实现单目相机的尺寸测量。在本文所提方法中，相机平行于升运器外壳安装在升运器侧面。在整个测量过程中，相机位置固定不动，其与刮板侧面为固定值。因此，根据上述原理可以测量出刮板谷堆侧面的面积。需要注意的是，安装会存在误差，理论上很难保证相机与刮板的侧面严格平行，但相机与刮板实际距离较小，轻微角度偏差对测量结果影响较小。

2 图像处理方法

在升运器高速运转的情况下，图像处理的时效性显得至关重要。为减少算法处理的数据量，提高计算速度，采用灰度相机进行升运器内部刮板上谷堆图像的采集。在正式采集图像前，需对相机进行标定以获取相机内部参数，然后采用一系列图像处理方法得到谷堆的侧面积，最终利用谷堆体积模型计算出谷物的体积流量。

2.1 相机标定

根据相机成像模型可知，当从二维图像中获取三维信息时，需要先获取相机的内部参数，求解相机内部参数的过程即为相机的标定。同时，由于透镜不可避免地存在制造和装配误差，会使图像产生横向畸变和切向畸变，给测量带来误差。图像的畸变可通过相机标定获取畸变参数然后对原图像进行去畸变处理来矫正消除。本文采用ZHANG[23]提出的平面棋盘格法进行相机标定，从不同角度采集了20幅平面棋盘格靶标图像进行标定。标定结果如表1所示，包括相机内部参数以及畸变参数。

表1 相机标定结果Tab.1 Result of camera calibration

2.2 感兴趣区域提取

灰度相机在减少数据量的同时也减少了图像所包含的信息，如何从灰度图像中正确分离出谷堆区域成为单目视觉谷物流量测量的关键。在相机拍摄的图像中，除了谷堆和刮板，还会出现链条、升运器内壁等背景，且部分背景的灰度和谷堆的灰度极其相近。如果直接对图像进行二值化处理，很难将背景和谷堆区分开来。图4a所示为升运器在240 r/min转速下相机采集的图像，对其直接进行二值化处理的结果如图4b所示。

从图4中看出，直接将刮板图像二值化后无法分辨出谷堆和背景，难以准确计算谷堆的侧面积。仔细观察图4a可以发现，在空间分布上，谷堆是一个完整的连通区域，总体上近似为一个梯形。因此，将图像中灰度按行累加，结果如图5所示，图中绿色实线为灰度按行累加后的趋势曲线。为方便观察，各行的灰度累加值已进行等比缩小处理。

从图5中可以看出，在谷堆与背景的分界处灰度累加曲线有明显的阶跃，这是因为在辅助光源的照射下，背景区域整体偏白色，而谷堆区域呈黑色。由于谷物水平堆积在刮板上，将图像灰度按行累加后，谷堆区域所在行的灰度总值明显低于背景区域。据此，可以分析灰度累加曲线的梯度变化来确定谷堆的真实区域。

传统方法通常采用一阶后向差分计算一维离散曲线的梯度变化，但容易受噪声干扰。为减少图像中正掉落谷物等噪声的影响，准确提取出谷堆实际区域作为图像处理的感兴趣区域 (Region of interest, ROI)，基于邻域均值的差分算法[24]计算灰度累加曲线的梯度。对于离散数列中第i个数据点xi，其梯度dxi为目标点左侧相邻L个数据点的均值与右侧相邻L个数据点均值的差值，计算公式为

(10)

式中N——离散数列长度

L——邻域长度

相比于一阶差分算法，该方法考虑了目标像素行两侧相邻区域的灰度情况，能够有效过滤高频噪声。取L=12，对图5中灰度累加曲线进行邻域均值差分计算，结果如图6所示。

由图6可以看出，邻域均值差分曲线较平滑。由于升运器安装时存在倾角，谷堆上表面通常与刮板不平行，在寻找谷堆上边界时应定位谷堆表面的最高位置处，以包含整个谷堆区域。而如果直接选择灰度下降最大的位置作为谷堆区域上界，通常会定位为谷堆表面的最低处。观察图5可以发现，从谷堆表面的最高点开始，图像中每一行小麦占的比重逐渐增加，累计灰度逐渐减小。因此，可以选择邻域微分值从正变为负的零点处作为谷堆上边界。由于存在谷物掉落，邻域差分曲线中会存在多处满足要求的零点，但自谷堆上表面最高点往下，每一行灰度之和会逐渐减小，灰度均值差分值会在较大范围内保持为负值。因此，可以选择邻域均值差分曲线中最长连续负区间中的左端点作为ROI上边界，如图6中圆圈位置。对于谷堆区域下边界，图像从暗变亮，灰度通常会增加，因此选择上边界之后序列中邻域均值微分最大点作为下边界点，如图6中三角形所在位置。综上所述，提取图像中谷堆区域的算法流程为：①对图像的灰度值按行累加，获得灰度累加曲线。②对灰度累加曲线进行邻域均值差分计算。③寻找邻域均值差分序列中最长连续负区间，选择该区间左端点作为ROI区域上边界。④从上边界点往后搜索邻域均值差分最大值，选择其位置作为区域下边界。

对于图4所示图像，通过上述算法提取的谷堆区域如图7所示，其完整地包含了谷堆和刮板。

2.3 形态学处理

在准确获取刮板和谷堆的区域后，可直接对提取的ROI进行二值化处理，将图像中深色的谷堆从浅色背景中分割出来。Otsu法是最常用的二值化方法之一，其利用最大类间方差自动确定最佳阈值，对于前景和背景区别较大的图像具有良好的分割效果。本文采用Otsu法对ROI图像二值化，结果如图8a所示。

从图8a中可以看出，Otsu法分割效果良好，能准确地分割出谷堆和刮板。然而，掉落的谷粒也被划分为前景，而谷堆中部分过曝的区域成为封闭的孔洞。为此采用floodfill算法对二值图进行处理，消除二值图中掉落的谷粒和谷堆内过曝光区域，结果如图8b所示。为展示上述算法提取的谷堆区域的准确性，将图8b中谷堆边界绘制在原始图像中，如图9所示。可以看出，通过上述算法最终分割得到的谷堆区域与真实的谷堆高度吻合，准确地勾勒出了谷堆的边界，为后续谷物体积的高精度计算奠定了基础。

2.4 谷堆截面积计算

通过相机标定，得到了相机内部参数fx、fy。同时，利用图像处理方法精确地提取了谷堆图像区域。结合式(9)，则谷堆真实截面积为

(11)

式中Q——谷堆二值图前景像素总数

Dz——相机与刮板侧面的距离

取谷堆第1列高度作为链轮占据的高度，其计算公式为

(12)

式中C1——谷堆二值图中第1列像素数

由式(5)～(7)即可获得谷物产量。

3 试验验证与分析

3.1 谷物产量测量系统

为采集升运器内部刮板及谷堆图像，搭建了如图10所示的谷物测产系统，其主要包括工业相机、辅助光源、接近开关、图像处理设备以及CAN通信模块等。工业相机用于采集刮板上谷堆原始图像，接近开关则作为工业相机采集图像的外部触发源。当接近开关检测到刮板经过时，触发工业相机采集当前刮板图像。由于升运器是封闭的，需要安装辅助光源提供必要的光线，保证成像质量。采集的图像在图像处理设备中处理和分析，得到当前刮板上谷堆的侧面积，然后根据体积模型计算谷堆质量。由于处理设备本身没有CAN控制器和收发器，因此测得的传感信息通过USB转CAN模块发送到收获机CAN总线上，最终在车载终端上显示和保存。

工业相机型号为大恒MER-131-210U3M，采用CMOS 传感器，分辨率为1 280像素×1 024像素，帧率为210 f/s，使用USB 3.0接口，可外触发采集。考虑到工业相机的视角，为保证相机能够拍摄到完整的刮板谷堆图像，经调整发现镜头与刮板距离为45 cm时拍摄效果最佳。测量过程中，由于刮板快速运动，曝光时间过长会导致图像模糊和产生拖影。因此，在增大进光量保证图像亮度的基础上，应当尽量缩短曝光时间。

工业相机采用硬件触发模式，当刮板经过时接近开关触发相机采集图像，这保证了每个刮板上的谷堆均能被检测到，且不受升运器转速影响。由于刮板通过金属压片和链条固定，采用电感式接近开关检测刮板位置，能够有效避免掉落的谷物或者秸秆等非金属物体误触发相机拍摄。接近开关型号为中沪电气LM18-3020系列，检测距离为20 mm，响应频率为0.5 kHz。为便于调整接近开关安装位置，固定支架设计成可调节式结构。

图像处理设备采用英特尔微型计算机，型号为NUC7i5BNK，处理器为i5-7260U，主频3.4 GHz，内存8 GB。该设备接口丰富，拥有4个USB 3.0接口和2个USB 2.0接口，能够给外接相机模块、CAN模块以及相关器件供电。

3.2 试验装置

参考雷沃谷神GK100型稻麦联合收获机粮仓内粮食运送装置，搭建了室内谷物测产试验台，升运器采用刮板式结构，利用伺服电机驱动。整体组成如图11所示，主要包括下料斗、导料槽、伺服电机、水平螺旋输送器、升运器以及出料口等部分。

谷物装在下料斗内，调整下料斗底板开口尺寸可以控制谷物喂入速度，谷物在重力作用下通过导料槽滑落至底部水平螺旋输送器，螺旋输送器在伺服电机的驱动下将谷物输送到升运器的底端。通过链条带动刮板将谷物从底端运送到顶部，然后从出料口排出。伺服电机下位机控制器采用STM32控制板，通过PWM波调速。上位机采用Intel NCU微型计算机，通过串口向下位机发送电机控制信号。在升运器中部，开有谷物流量传感器安装槽，用于安装工业相机模组、接近开关以及辅助光源。接近开关和工业相机安装在两侧，正面视窗用于安装辅助光源。

3.3 系统标定试验

在刮板谷堆计量模型中，谷堆几何形状的理论模型与实际情况会存在差异，给测量带来误差。在运动过程中，由于机器振动，不同转速下谷堆的容重、谷物的掉落程度也会存在差异。此外，由于工业相机使用逐行曝光，拍摄运行中的物体时图像会沿运动方向拉长畸变，运动速度越快图像拉伸越严重。上述误差因素均和升运器转速有关，且属于系统误差。因此，可以通过试验标定的方法对其进行减小或消除。

由于升运器转速是影响系统误差的重要因素，开展了不同转速下的测产试验，转速范围为100～600 r/min。同一转速下进行多次试验，将测量值和实际值对比，通过线性拟合对测量值进行修正。最终得谷物产量测量的修正模型为

Md=(0.002 5ns+0.63)M

(13)

式中ns——升运器转速，r/min

Md——修正后的测量结果，kg

3.4 测产试验验证

为验证所提方法有效性，在室内试验台上开展了测产验证试验，试验现场如图12所示。试验流程为：将谷物装入下料斗，启动试验台，运行测产程序，然后逐渐打开下料斗开口，使用容器接住出料口谷物，待出口无谷物排出时，停止试验台，单次测产试验结束。需要注意的是，谷物测产系统测量的是经过升运器的谷物质量，而电子秤测量的是经出口排出的谷物，电子秤测量值相对于谷物测产系统会存在一定时间迟滞。因此，应将单次试验结束后出口谷物质量作为产量测量的标准值。

在实际收获过程中，为防谷物堵塞运粮通道，升运器转速通常较高，不低于100 r/min。同时，考虑到不同喂入量的收获机升运器转速存在差异，为验证所提方法在不同工况下的测量精度，选取了120、180、240、360 r/min 4个不同的转速工况进行了测产试验。在每个工况下，重复进行3组试验。测量对象为小麦，容重约为0.85 g/cm3。试验结果如表2所示。

表2 测产试验结果Tab.2 Experimental result of grain yield monitoring

由表2可知，在试验台测试中，测产系统测得的谷物质量与实际值十分接近，总体误差为-4.08%～3.41%，具有较高的测量精度，能够满足联合收获机的实际测产需求。通过标定和修正后，所提方法在不同转速工况下都能取得良好的检测效果，具有较好的适应性。

3.5 讨论

在升运器运转过程中，机身不可避免地存在振动，会对图像采集效果造成影响。这是因为，当物体和相机之间存在相对运动时,在单次曝光时间内,感光元件中特定像素视场范围内所对应的目标偏离原始位置,对其相邻像素曝光，导致图像模糊。因此，在采集图像时，缩短曝光时间能够减小振动对图像品质的影响。同时，也可采用锐化等处理方法对图像进行处理，提高图像品质。此外，振动也会使得谷物的实际容重小于静置状态下的容重，并加剧谷物从刮板四周缝隙处掉落。但由于升运器工作过程中通常保持相对恒定的转速，这类误差可以通过开展标定试验，对测量结果进行修正来消除。