熊龙烨, 王 卓, 何 宇, 刘 洒, 杨长辉,2

(1.重庆理工大学 机械工程学院,重庆 400054；2.西安交通大学 机械工程学院,陕西 西安 710049)

0 引 言

对于柑橘采摘机器人来说,完整获取柑橘树的三维信息以及准确识别成熟的柑橘有利于实现机器人的精准采摘[1～4]。近年来,随着深度相机的快速发展获取物体的三维信息变得更加方便、快捷,因此基于点云的三维重建成为当下的研究重点。Kinect v2,作为微软第二代深度相机,能够同时获取物体的彩色信息和深度信息,由于其采用了飞行时间主动光源技术进行测距不易受到外界光线变化的影响,具有出色的深度信息获取能力[5]。该相机因其具有操作简单价格低廉以及定位精度高的优点,目前被广泛应用于各种目标物体的三维重建[6]。

基于上述情况,本文将柑橘树作为研究对象,通过Kinect v2获取不同角度下的柑橘树的点云,对获取的点云进行滤波、融合等处理,采用泊松表面重建算法对其进行重建。与此同时,根据成熟柑橘的颜色特征,通过颜色空间转换和通道分离的方法,首先在HSV颜色空间H通道下进行初次分割对柑橘区域进行初步提取,然后在Lab颜色空间a通道下对其进行二次分割,最后通过对分割区域进行椭圆拟合的方法实现对柑橘区域的最终提取。

1 实验材料与方法

1.1 实验设备与图像采集

实验所采用的设备为Kinect v2,硬件结构如图1(a)所示,实验地点位于重庆理工大学柑橘实验基地,在天气晴朗光照温和的条件下,通过该相机对柑橘树进行如图1(b)所示的A,B,C三个角度进行拍摄,拍摄的距离为1 m左右。

1.2 点云获取及预处理

彩色图像中包含较多除开柑橘树以外的其它背景,首先通过深度阈值分割的方法去除彩色图像中多余的背景,然后利用双边滤波算法[7]对深度图像进行滤波处理,其中输出像素值与领域像素值之间关系如下

加权系数w(i,j,k,l)取决于定义域核和值域核的乘积

通过深度图得到柑橘树的空间三维坐标,然后通过建立深度阈值分割后的彩色图与双边滤波后的深度图像之间的映射关系,由此获得具有颜色信息的三维空间坐标(X,Y,Z,r,g,b),即

X=(u-cx)×d(u,v)/fx,Y=(v-cy)×d(u,v)/fy,

Z=d(u,v)

(2)

式中 (u,v)为深度图上任意像素点,d(u,v)为深度图中像素坐标(u,v)为对应的深度值,(cx,cy)为深度镜头光心坐标,(fx,fy)为深度镜头横向和纵向焦距。

考虑到上述点云中仍含有其他背景以及一些边缘部分的离群噪声点,本文通过直通滤波器将Z轴方向上(深度)范围之外的点滤除,并利用统计滤波器中的Kd-Tree算法查找点云Pi(xi,yi,zi)(i=1,2,…,m)的空间临近点Pj(xj,yj,zj)(j=1,2,…,n),求解Pi和其临近点的平均距离di并计算全局距离平均值μ和标准差σ,通过将距离di在μ±ασ范围之外的定义为离群噪声点去除。其中,di,μ,σ的计算

其中,参数和临近点个数n取决于目标点云的数量和密度,本文通过实验发现n取50,α取 1.0 时滤波效果较好。

通过ICP算法[8]对经过上述处理后得到的点云进行迭代融合,迭代的数学表达式如下

式中Qii=1,2,3,…—第1个点集,Pii=1,2,3,…—第2个点集,R为旋转矩阵,T为平移矩阵。

1.3 基于泊松曲面重建算法的柑橘树重建

泊松表面重建算法[9,10]融合了全局和局部方法的优点,利用求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程,通过对该方程进行等值面提取,从而得到具有几何实体信息的表面模型。泊松曲面重建算法的具体步骤如下:

1)定义八叉树:使用样本点的位置来定义八叉树O,然后附加一个节点函数F0使得八叉树的每一个节点o∈O

F(x,y,z)=(Q(x)Q(y)Q(z))*n

式中 盒滤波函数为Q(t),n为滤波器的阶数,本文取n=3,由此可以得到Fo(q)的数学表达式如下

式中F0为节点函数,F为基函数,rc为节点中心,rw为节点宽度。

式中ND(s)为 8个最接近S点深度为8的节点,α0为三次线性插值权重。

5)提取等值面:为得到重构表面,需要选择阈值获得等值面；先估计采样点的位置,然后用其平均值进行等值面提取,然后用移动立方体算法[11]得到等值面。

1.4 基于颜色特征的成熟柑橘分割识别

本文通过在HSV颜色空间和Lab颜色空间下利用成熟柑橘的颜色特征信息对其进行分割识别。首先将其从RGB颜色空间转换到HSV颜色空间[12]

通过设定H,S,V以及L,a,b三个通道的阈值进行二次分割,当T

由于从RGB颜色空间转换到Lab颜色空间时,需要以XYZ颜色空间作为中间转换

由XYZ颜色空间转换到Lab颜色空间[13]

校正函数f的计算

2 试验结果与分析

2.1 试验条件

按照本文所提到A,B,C三个角度拍摄对柑橘树进行拍摄,得到对应的彩色图和深度图如图2所示。以上试验过程均在3.1 Hz处理器、8 G内存的Win10系统的PC上完成,具体的试验流程图如图3所示。

图2 Kinect v2采集图像

图3 实验流程

2.2 重建结果及分析

对柑橘树进行重建的结果如图4所示,其中,图4(b)为通过彩色图和深度图配准之后经过预处理后得到的点云,图4(c)为重建后得到三维模型,图4(d)为三维模型经过颜色纹理映射之后的效果。对比图4(a),(c)以及(d)可以发现重建的柑橘树对比真实的柑橘树具有较高的还原度。

图4 三维重建效果图

参考文献[14]中的方法,利用皮尺实地测量了20组柑橘树的树冠层直径和高度,以人为测量的值作为基准值,对比实测值与模型值之间的大小并通过计算二者之间的均方根误差来对重建精度进行量化。实验对比结果如图5所示,重建模型树冠层直径与实测直径的均方根误差为2.337 cm,树冠层高度与实测高度均方根误差为2.962 cm,通过统计可得,重建模型树冠层直径误差范围为0 %～5.17 %,重建模型树冠层高度误差范围为0 %～4.21 %。

图5 重建模型树精度分析结果

2.3 识别结果与分析

对成熟柑橘进行分割识别的效果如图6所示。对比图6(a)和图6(d)可以发现,柑橘果实和枝叶等背景已经被较好的分割开,但仍有少量背景。对比图6(d)和图6(g)可以发现,经过两次分割之后柑橘果实和枝叶等背景已经被完全分割开来。图6(h)为最终的柑橘区域提取效果,可以看到椭圆拟合的效果较好与柑橘果实本身的轮廓重合度较高,因此,将该区域识别为柑橘果实区域具有较高的准确率。

图6 成熟柑橘分割识别效果

统计了20组柑橘树成熟柑橘的识别率(其中包含了前文中所提到A角度7张,B角度7张,C角度6张)的结果如表1所示,由表1可知 A角度下的识别准确率达94.7 %,B角度下的识别准确率达96.3 %,C角度下的识别准确率达92.9 %,三种不同角度下的平均准确识别率达94.72 %。

3 结 论

本文研究的柑橘树三维重建与成熟柑橘识别方法具有较高的稳定性和准确性,对柑橘树的重建精度达到94.83 %,对成熟果实识别的准确率达94.72 %。由此说明,该方法能够保证柑橘树的重建精度和对成熟柑橘的识别率,可以为柑橘采摘机器人提供采摘指导。