基于三维点云的苹果树冠层点-叶模型重建方法

2020-04-27郭彩玲

农业机械学报 2020年4期

郭彩玲刘刚

(1.中国农业大学现代精细农业系统集成研究教育部重点实验室，北京 100083；2.唐山学院机电工程系，唐山 063000；3.中国农业大学农业农村部农业信息获取技术重点实验室，北京 100083)

0 引言

虚拟植物为景观和生长建模、农艺过程模拟等提供了技术服务和技术支撑，为修剪模拟和果园管理技术的提升注入了新的活力[1]。在计算机视觉和计算机图形学中，三维重建可捕获真实三维物体的形状和外观，进而分析光照分布，对于科学指导果园管理具有重要意义[2-4]。

为了快速无损获取果树表面几何信息、进行果树三维重建，研究人员尝试了多种方法[5-7]。通过三维数字化仪[8]获取树冠内部叶片位置研究树冠结构，构建了由叶片组成的冠层结构模型，较准确地反映了树冠内部结构，但试验过程存在人工操作过程繁琐、三维重建效率低等不足[9]。

三维扫描技术[10]加快了获取冠层点云数据信息技术的发展[11]。利用地面激光扫描仪获取树木冠层三维点云，在测量树木冠层投影面积与体积[12]、三维重建木质化结构[13]、计算森林生物量参数[14]、重建骨架[15-16]、提取和重建叶片边缘[17-18]、测量枝干尺寸[19-20]等方面，取得了较多研究成果。但是，这些研究大多注重大尺度范围内的树木几何参数信息，对于树冠内部器官细化结构以及冠层内部叶片空间位置研究较少。面对三维扫描获取的海量三维点云，如何提取有效点云信息、快速构建苹果树冠层三维结构模型，进而研究冠层光照分布[21]，仍是相关领域亟待解决的问题。

本文以纺锤体苹果树冠层为研究对象，采用地面三维激光扫描仪获取冠层三维点云数据，提出叶基自动提取方法，建立苹果树冠层点模型和点-叶模型，以实现苹果树冠层快速三维重建。

1 材料与方法

1.1 仪器与材料

在中国农业大学苹果树采摘机器人试验基地(北京市昌平区南口镇辛力庄村)开展苹果树冠层三维点云数据采集工作。该试验基地年平均日照时数2 684 h，年平均气温11.8℃。果园采用常规管理方式进行春季修剪，行间有草，灌水条件良好，苹果树高2.5～3.5 m，株距2.5 m，行距5 m，行方向为东西方向。

试验采用美国Trimble公司TX8型地面三维激光扫描仪(图1)采集苹果树冠层三维点云数据。激光扫描仪最大扫描范围为340 m，测量速度为106点/s，视场角为317°×360°，扫描范围为-10°～10°，精度为0.5°，采用脉冲激光测距，测量精度小于0.5°，100 m测距时，误差小于等于2 mm。

图1 地面激光扫描苹果树冠层示意图Fig.1 Sketch of terrestrial laser scanning of apple tree canopy

1.2 试验方法

研究对象为随机选择果园自然生长状态下树龄3～8 a的纺锤形宫藤富士苹果树(11棵)。试验不考虑扫描环境诸如温湿度、大气压等参数的影响。数据采集时间为2015—2019年的6、9月，风速小于1.6 m/s时采集的数据作为预处理前的三维点云[11]。

图2 苹果树冠层三维点云提取过程Fig.2 Extraction process of apple tree canopy point cloud data

采用五站扫描方式来扫描苹果树冠层，如图1所示，直径为145 mm的标靶球作为点云配准依据，扫描品质设置为Level 3。利用KDtree-ICP算法[22]结合标靶球配准的方法[11]配准三维点云，图2a为TX8型激光扫描仪获取的苹果树冠层三维点云及配准过程，图2b～2d为在Realworks 12.0软件中提取冠层枝干部分三维点云过程。首先提取苹果树冠层点云数据，并采用基于点云强度的提取方法，剔除点云强度较低的散点，人工检查并删除软件不能剔除的噪声点，获取单株苹果树冠层三维点云。采用基于曲率的点云压缩方法，按照坐标轴曲率分布压缩，利用Matlab软件中函数pcdownsample实现，图2d为经过上述步骤处理之后的苹果树冠层三维点云可视化图。

2 模型重建方法

图3 苹果树叶序和叶片叶基Fig.3 Apple tree phyllotaxis and leaf spatial location

叶基是叶柄-中脉连接点的空间坐标，可以描述叶片在苹果树冠层中的空间位置[23]，也是进行植物冠层结构分析的重要元素[24-25]，利用叶片空间位置及叶片基本参数可构成苹果树冠层[26]。图3为苹果树冠层叶片叶序和叶基位置图。其中，1～5为叶序，A～E为顶点，蓝色点为叶基，本文叶基提取算法假设叶基为叶片上距离枝干中心最近的点。

2.1 模型重建方法流程

如图4所示，苹果树冠层点-叶模型重建步骤由4个核心部分组成：提取单叶片、提取枝条中心线、提取叶基、点-叶模型重建。

图4 苹果树冠层点-叶模型重建方法流程图Fig.4 Flow chat of apple tree point-leaf model reconstruction

2.2 提取单叶片

以2018年苹果树冠层为例，提取苹果树生长期(5—7月)和叶幕稳定期(8—9月)冠层三维点云，以节间距离较大[27]的营养长/短枝[28]作为研究对象提取单叶片。

利用DBSCAN算法(Density-based spatial clustering of applications with noise)[25]分割苹果树冠层三维点云时，点的邻域半径(Eps)和点云样本中的距离为EPS的邻域中样本个数(Mintps)由点的特征决定，需手工输入参数。针对本文获取的三维点云密度，经过多次聚类试验，Eps计算公式为

(1)

式中Eps——点的领域半径参数Eps

Gridstep——三维点云预处理特征有关的量，为原点云数量与压缩之后的点云数量比值

D——被测量物体到扫描仪的距离，mm

Q——扫描仪扫描指标有关的系数，Trimble TX8型扫描仪中对应为30000/22.6、30000/11.3、30000/5

按照地面三维激光扫描仪的设置，30 m点距为5 mm(被测量物体到扫描仪的距离和扫描点间距的线性变化关系)，本文扫描苹果树冠层试验中，扫描仪与树冠中心距离D为3.5 m，点云压缩之后的点云数量为原点云数量的1/10(压缩后点云数量/未压缩点云数量)，Eps参考值为5.8。

自然环境下获取的苹果树冠层三维点云易产生多层现象[9]，为了保证叶片三维点云的完整性，Mintps取值为4。

图5a为随机提取生长期苹果树冠层一根枝条，进行DBSCAN聚类分割结果，其中，不同颜色表示不同的类。图5b为分割后的各个类的数据可视化图。根据每类点云数据中包含点云数量判断该类是不是叶片，大于240的类记为叶片点云簇，小于或等于240的类丢弃。提取叶片点云簇数据，第r个单叶片点集记为Pleaf(XLr,YLr,ZLr)，图5c为提取的叶片三维点云可视化图。

图5 提取单叶片过程Fig.5 Process of extracting single leaf

2.3 提取枝条中心线

苹果树冠层叶片按照图3所示叶序方式增加新叶片[20]，且以枝条为中心展开，将苹果树冠层营养枝三维点云收缩，拟合生成直线，即枝条中心线。

将枝条三维点云沿着垂直于地面方向(Z轴方向)按照相同的厚度均匀切片。切片厚度以大于叶片厚度为宜，本文点云数据切片厚度为5 mm，并正投影到垂直于Z轴的平面(XOY面)，遂在正投影面得到三维点云切片的正投影点集SXOYi，每个点都由2维实数组成。K-means聚类时，目标函数J表示为

(2)

cj——聚类中心点

图6是提取枝条中心线过程，其中图6a是枝条三维点云任意一层的正面投影的聚类迭代结果，红色点为SXOYi聚类中心坐标。

图6 提取枝条中心线过程Fig.6 Progress of extracting branch line

将聚类中心坐标的数量设置为m，则聚类中心坐标m×2的二维数组为

以第i个切片Z轴向坐标为数值，创建一维m×1向量

Ca=(zm，zm-1,…,z1)T

组合C2D和Ca得到m×3的三维数组

计算C3D任意3个相邻点的中值，记录中值点的数值替换这3个点，如图6b所示，直到剩下2个中值点便停止迭代，并输出这2个点的坐标PCA(xCA,yCA,zCA)和PCB(xCB,yCB,zCB)。

枝条中心线的点向式方程L为

(3)

式中 (x,y,z)——直线L上任一点坐标

(m,n,p)——直线L的方向向量

t——直线参数方程的参数

2.4 提取叶基

计算任意点Pleafi(XLri,YLri,ZLri)∈Pleaf到直线L的距离

(4)

叶基的坐标为d(Pleafi,L)最小值对应的Pleaf的坐标PLSL。

2.5 模型三维重建

按照营养枝条的生长位置，将苹果树冠层三维点云体素化，图7a中每个绿色的立方体包含的点云为一个枝条体素，提取枝条体素中的叶基坐标，构成点集PLSL，图7b是点集PLSL的可视化点模型。

图7 点模型Fig.7 Point models

栽培管理技术、苹果品种、中间砧、叶片在枝中的生长位置、萎蔫程度等都会影响苹果树叶片分布和形态[29]。研究表明，叶片纵横比和叶面积是描述苹果叶片关键指标[30]。为了较精确地获取苹果树叶片纵横比建立叶片模板，随机选取9月获取的苹果树叶片500枚，借助Geomagic软件精确测量叶片长度和宽度，计算叶片纵横比，取叶片纵横比平均值25∶18。同时，借助Geomagic软件生成叶片实体造型，采用该软件计算面积功能，计算单个叶片表面积，取算术平均值49.9 cm2作为叶片表面积，以叶基为定位点，插入叶片模板，建立基于叶基的苹果树冠层点-叶模型。

叶片在冠层中的空间位置由6个自由度确定[25,31]，即空间3个坐标(叶基)表示叶片空间形态的欧拉角(高度角Rot(Y)、转角Rot(X)和方位角Rot(Z))。其中，富士苹果80%以上叶片欧拉角数值： Rot(Y)为[-30°，60°]、Rot(X)为[-60°，60°]、Rot(Z)为145°。苹果树叶片以Rot(Z)为145°在枝干上呈螺旋分布。

为了快速重建点-叶三维模型，将欧拉角简化，且以直线代替叶片中脉空间弯曲，忽略叶片边缘曲率，叶片模板近似为六边形[7]，六边形面积和纵横比与叶片表面积相同。叶片模板由6个点组成，受到以下条件约束：六边形平面与XOY平面平行，6个点按照顺时针方向定义，如图8a所示。

图8 点-叶模型重建过程Fig.8 Progress of reconstruction of point-leaf model

叶片模板插入步骤如下：

(1)初始化步长ZPLSL(i+1)-ZPLSL(i)。

(2)PLSL中提取第1个点坐标PLSL(x,y,z)，插入六边形，六边形A点坐标为PLSL(x,y,z)，其余点相对于A坐标分别为：B(x+0.27，y-0.36，z)、C(x+0.65，y-0.36，z)、D(x+1，y，z)、E(x+0.65，y+0.36，z)、F(x+0.27，y+0.36，z)，6个点按照顺序连接封闭曲线。

(3)叶片模板在XOY面以A点为中心旋转Rot(Z)，每隔一个步长旋转145°。Rot(X)为[-60°,60°]之间随机分布，Rot(Y)为[-30°,60°]之间间隔15°分布。

(4)绿色填充六边形空间，步长加1，重复上述步骤，遍历所有点，构建出点-叶模型如图8c所示。

3 结果与分析

3.1 苹果树不同生长时期提取叶基结果

截取树冠中营养枝数据，对叶基提取算法的有效性、运行参数等进行验证和分析。处于不同生长阶段的苹果树冠层和叶、果等器官数量和大小不同。图9为不同生长时期提取叶基效果图，图中不同颜色代表不同叶片。从图中可见，本文提出的方法可以提取苹果树不同生长阶段的叶基，图9a、9b分别是生长期(6月)和叶幕稳定期(9月)叶基提取结果。从图中可以看出，每个叶片都被完整分割，叶基LGS_01、LGS_02、LGS_03、SGS_04、SGS_05、SGS_06、SGS_07等均可提取。

图9 不同生长时期提取叶基结果Fig.9 Leaf spatial location extraction results at different growth stages

图10 手动提取结果和本文算法提取结果可视化图Fig.10 Visualization of two leaf spatial location extraction methods

3.2 本文算法提取叶基结果

为了验证本文叶基提取算法的适应性，在Realworks 12.0软件中手工提取叶基的空间坐标，与自动提取叶基坐标算法进行比较。图10是2017年9月苹果树冠层营养枝叶基的自动提取与手工提取结果对比可视化图。由图10可见，2种测量方法重合度较好。

图11是手动提取叶基和利用本文算法提取叶基坐标的误差分析图，可以看出，相对于手动提取，二者提取的坐标平均欧氏距离为1.41 mm。

图11 手动提取结果和本文算法提取结果误差比较Fig.11 Error of leaf spatial location space coordinates

3.3 点-叶模型与光模型融合下的冠层光截获计算

VegeSTAR是根据植物数字化冠层模型进行光截获模拟计算的软件[32]，可计算灌木、森林幼苗、苹果树的光截获。VegeSTAR软件将天空等分为面积相等的46个立体角的龟背天空[33]，并将龟背天空46个方向计算的光截获值STAR(Silhouette to total area ratio)加权计算得到冠层固定点时间内的STAR值。

将建立的点-叶模型导入VegeSTAR软件，通过设置叶片面积和形状，输入叶基采集果园位置的经纬度和采集时间，可计算出苹果树光照射叶片投影面积和总面积，进而得到苹果树冠层的光截获均值。

图12为点-叶模型与VegeSTAR融合计算冠层光截获结果，图12a中将点-叶模型按照冠层高度，每间隔0.1 m以不同颜色区分，图12b为冠层不同高度的叶面积和光截获值计算结果。

在数据采集、模型重建、计算STAR值一系列过程中，数字化仪模型重建1 500点左右的树冠三维模型需要2 d[34]，本文实例中点-叶模型对应研究对象为3 a苹果树，与文献[34]树形相同，叶基数量为633点，重建点-叶模型需要2～3 h，三维重建效率有了较大提高。表1列出2019年9月3棵3～4 a纺锤体苹果树，按照不同方法对其进行三维重建所需要时间。