APP下载

植物三维建模ICP点云配准优化

2022-04-19陆健强兰玉彬毋志云常虎虎邓小玲吴泽锦唐亚战

农业工程学报 2022年2期
关键词:表型精简滴水

陆健强,兰玉彬,毋志云,梁 效,常虎虎,邓小玲※,吴泽锦,唐亚战

(1. 华南农业大学电子工程学院(人工智能学院),广州 510642;2. 国家精准农业航空施药技术国际联合研究中心,广州 510642;3. 岭南现代农业广东实验室,广州 510642)

0 引 言

随着人工智能、智慧农业和虚拟现实等技术信息技术的快速发展和摄像器材的广泛普及,植物三维模型重建工作越来越普遍。非破坏性地获取植物表型信息,研究农作物的生长态势是植物表型研究领域的重要发展趋势。通过计算机技术建立植物三维模型,减少非破坏性测量,获取植物表型的持续性数据,可为农作物生长规律探究、种植精准管控、病虫害绿色防治等方面提供有力支持。现阶段,由于植物形态复杂,枝叶间相互遮挡等客观因素,植物三维建模过程,普遍存在点云图像噪声过多、配准误差较大等问题,仍需进一步提高三维建模点云配准精度,降低模型点云数据的冗余程度。

植物表型建模的点云重构研究中,针对点云配准,Besl等最先提出迭代最近点算法(Iterative Closet Point,ICP)进行刚性配准;Guo等提取RoPS特征进行初始配准,再进行精配准,使得在两组点云重叠部分较少时,点云配准更加有效。针对法向量获取,Huang等采用一种迭代估算法向量的方法,可更好地处理存在薄面结构的点云。针对曲面重构,Ohtake等提出多层次整体划分(Multi-level Partition of Unity implicits,MPU),用自适应八叉树对数据域进行划分,采用二次函数拟合局部曲面,最终融合局部曲面函数而获得隐式曲面。Kazhdan等[提出并改进了重要的泊松重建算法,解决了原有泊松重建曲面平滑过渡的问题。

近年来,樊景超等提出一种基于序列图像的苹果树三维点云模型获取方法,通过匹配图像特征点构建稀疏点云,利用多视点视觉技术构建果树的稠密点云;方圣辉等使用激光扫描仪采集了四种代表性植株的稠密点云,通过计算结构表型参数对三维点云模型进行数字化,减少了其中间参数,提高了模拟精度;边黎明等利用可见光相机、荧光成像仪、高光谱像仪等各成像传感器实现了林木表型信息的快速、无损地采集林木的表型信息;袁培森等探讨了表示学习在植物表型中的研究意义及目前存在的问题,并提出了表示学习在构建植物表型应用的发展方向。以上研究表明,植株的三维建模需进一步提高点云数据的配准精度与融合程度,而且应充分考虑三维模型精度与点云数据量的正相关问题,以解决建模过程产生过高的冗余数据的问题。

本研究以激光扫描仪针对单株滴水莲、九里香、茉莉、柑橘和多株桐花、灰莉进行三维建模分析,提出基于ICP的低数据量点云配准优化方法。利用高效近邻搜索算法判别和去除点云的离群点噪声,通过人工干预选择参与配准的三对特征坐标参考值,以解决ICP算法在配准过程中易陷于局部最优解的问题,并在保持植株点云三维形态特征的前提下,以体素化网格法有效滤除冗余数据点,以期在无损获取植物表型特征信息的同时,构建低数据量的植物精确三维模型,实现植物表型三维建模的轻量化处理。

1 材料与方法

1.1 试验材料

本试验利用专业三维激光扫描仪分别对单株和多株植物进行三维建模,获取精准、可靠的试验数据。试验采用的三维激光3D扫描仪,品牌型号为思拓力X300,数码相机像素为1 070万,环幕获取像素为8 560万,水平扫描角度360°,垂直扫描角度180°,扫描线频为40 线/s,测距精度为50 m内<5 mm、300 m内<30 mm,水平、垂直测角分辨率均为0.022 5°,输出格式包括X35、X3a、X3i和txt等。

基于冠幅、株高、叶片大小、枝叶遮挡程度等具区别度的植株选择原则,单株植物选取滴水莲,九里香,茉莉和柑橘4种具代表性的植物作为点云获取对象。试验用滴水莲株高0.423 m,冠幅0.419 m,具有叶子大、叶柄长、茎粗直立,枝叶间存在明显遮挡的特点;试验用九里香株高0.735 m,冠幅0.615 m,形态上具有叶片小、叶柄甚短、树形端正、叶子细密存在遮挡的特点;试验用茉莉株高0.782 m,冠幅0.725 m,具有单叶对生、叶柄较短、茎枝较细、枝叶较分离无明显遮挡的特点;试验用柑橘株高1.757 m,冠幅1.129 m,具有叶片大小变异较大、小枝较细弱、枝叶间存在明显遮挡的特点。如图1。

图1 试验对象 Fig.1 Test object

多植株作物分别选取桐花和灰莉作为试验对象。试验用8株桐花株高分别为0.652、0.681、0.792、0.761、0.658、0.605、0.665和0.841 m,具有枝叶较分离、相互间无明显遮挡的特点;灰莉又名非洲茉莉,分布广泛,试验用灰莉植株共14株,平均株高0.975 m,相互间遮挡较为明显。

实际株高和冠幅测量时以植株的最高点到地面的垂直高度记为该植株的株高;以植株平行地面方向最宽距离记为该植株的冠幅,如图2所示。每种植株的实际株高和冠幅分别测量10次,取平均值记为最终数值。

图2 株高和冠幅测量示意图 Fig.2 Schematic diagram of plant height and leaf crown width measurement

1.2 建模方法

本文以滴水莲为例详细描述建模方法与试验,并以该方法对单株九里香、茉莉、柑橘进行单植株作物的建模试验。对多植株的桐花进行植株分离建模试验,对灰莉进行多株建模试验。

试验环境为1.2 m×1.2 m黑色幕布组成的正方形密闭空间(图3),滴水莲放置于正方形区域中间,在滴水莲周围放置8颗标号为a~h的圆形标定物;设置激光扫描仪的扫描视角为水平90°,垂直180°,依次将扫描仪放置在图3中1(西北,315°)、2(东北,45°)、3(东西,315°)、4(西南,225°)的位置,启动仪器扫描滴水莲获得4个位置不同角度的点云图,如图4所示。

图3 点云采集点及标定物布置 Fig.3 Arrangement of collection points and calibration objects

图4 滴水莲激光扫描图 Fig.4 Laser scanning image of Dishgyi

以Qt5(虚拟机Ubuntu64)、Matlab2016(Win64)为开发环境,以点云库(Point Cloud Library,PCL)进行点云处理函数开发。通过基于i7-5500U处理器的图形工作站对所采集的滴水莲点云图进行处理,利用PCL开源库中的visualizer模块进行点云可视化,最终得到滴水莲的原始点云可视化结果如图5。由图5可见,获得的点云数据中背景较多,不利于后续点云的配准,需进行点云数据的背景滤除。

图5 滴水莲原始点云可视化结果 Fig.5 Visualization results of original point cloud of Dishgyi

为实现点云图像的背景滤除,方便后续对点云的配准,在进行点云获取时,采用四棱柱为包围空间,根据人机交互算法定位感兴趣的点云区域,切除背景,实现背景分离。滴水莲背景滤除结果如图6所示。

图6 背景滤除结果图 Fig.6 Results of background filtering

经滤除背景后,在未进行预处理的情况下直接对从4个角度获得的点云图像进行基于ICP算法的刚性配准。先将扫描点4获取的点云(灰色)作为配准目标点云,再将扫描点1获取的点云作为待配准点云,待配准点云与目标点云配准结果如图7所示。

图7 配准收敛后的点云 Fig.7 Point cloud after registration convergence

由图7可见,配准后的点云与目标点云无法正常融合。分析试验过程,出现此现象的原因有3点:一是点云中存在大量离群衍射噪点,形成噪声干扰;二是点云数据量过大,点与点间形成干扰过大;三是ICP配准算法需提供初始解,否则易陷入局部最优解。

针对以上问题,本研究拟从以下3个方面进行算法优化:

1)配准前滤除离群点,降低噪点的影响;

2)添加标定物,辅助ICP配准算法获取初始解,再利用初始解后的ICP算法对点云进行精准配准;

3)对配准后的点云图像采用体素化网格法进行采样,在保证不破坏点云三维形态特征的前提下,有效滤除冗余数据点。

由于电磁波的衍射特性,以及植物的三维点云结构较为复杂,在配准前应进行点云去噪。否则,融合4组点云数据后,噪点更难滤除,且植株更加模糊,难以分辨植株的细节结构。针对该问题,本文提出基于统计分析的方法判别离群点噪声并滤除。

滤除植株点云噪声需要判断每个点的邻域,根据邻域中的点数,判别当前点是否为离群点。依次提取样本集中的每个样本点,计算该样本点与其他点的欧式距离,从而判断两点是否属于同一邻域,进而判定离群点。但单组点云数据量处于百万级量级,穷举会消耗大量的计算时间。

本研究基于邻域点数对离群点进行判定,首先采用kd-tree将数据空间划分为3个维度,接着依次提取样本集中的每个样本点,根据样本点和设定的半径,统计数据集所有与样本点距离小于的数据点,当样本点的邻域内点数小于设定阈值,即判定为离群点。

预配准:预配准核心思想在于引入3对特征坐标作为ICP初始解获取辅助。试验采用8颗直径2.5 cm的球体作为标定物, 8个标定物摆放于植株周围a~h标定位置,扫描仪从4个位置各获取一组点云图像以及对应的5个特征点。每组点云与其临近的2组点云进行配准,共需要6个特征位置。

各组点云之间的预配准通过手动选择3对特征点。以第一组点云与第二组点云的预配准过程为例,设从第一组点云的5个特征点中选择3个点为原始点,构成原始面,从第二组点云的5个特征点中选择3个点为变换点,构成变换面,求出从变换点还原到原始点的变换矩阵,根据变换矩阵对2组点云进行预配准。

获取变换矩阵的主要步骤如下:

1)旋转平面,使原始面和变换面平行。由于设计中标定物位于同一水平面,且扫描仪数据精度足够,获取的多组点云中,标定物3点坐标形成的2个三角形平面可视为平行。将原始面与变换面的相机位置坐标值、、均设置为0.1,相机视点的、、分量均设置为0,即可将原始面与变换面对应的坐标点的数值比例调整为相同数值,此时由标定物形成的原始面与变换面在三维坐标空间内仍处于同一水平面。经验证,可视标定物每3个坐标点形成的2个三角形平面,轴坐标值最大误差为0.30%,各点的轴坐标值基本一致。

2)以变换面的平面法向量为旋转轴,以变换点构成的三角形重心为旋转中心进行旋转,使得3点对重叠。首先使3点对形成的2个三角形的重心重叠,然后以重心为中心,以垂直于该平面的法向量为旋转轴旋转平面。试验采用暴力搜索算法和快速寻找波谷计算最佳旋转角度,并通过点距离分析2种算法的优度。判断标准为点距离和越小,算法性能越佳。

法向量和点距离和的计算方法为:设有3点分别是:p(,,),p(,,),p(,,)。垂直于这3点形成的平面法向量为→(a,b,c),旋转后对应点分别为p(,,),p(,,)和p(,,)。法向量坐标的计算公式如式(1)所示,点距离的计算公式如式(2)所示,通过式(3)计算出点对距离和。

表1 两种算法下配准同一点云的耗时 Table 1 Time consuming of registering the same point cloud under the two algorithms

图8 旋转角度与点距离和的函数关系 Fig.8 Functional relationship of rotation angle and sum of point distances

由表可知快速寻找波谷算法比暴力算法耗时少约26.75%,快速寻找波谷算法不仅最佳旋转角精度更高,运算速度也更快。

精准配准:根据图像偏移的整体性与否,配准算法分为刚性和非刚性两类。刚性配准处理的是图像的整体偏移(如旋转、平移);非刚性配准允许各组点对拥有不同的位置关系,是针对动态点云进行的配准。物体在扫描过程中易发生非刚性形变,如扫描时被风吹动的叶片。本文最初采用ICP刚性配准算法进行直接配准,试验结果误差较大(图7)。其原因主要为ICP配准算法需提供初始解,否则易陷入局部最优解。本文提出的精准配准方法基于特征坐标引入,结合人工干预进行初始配准,为ICP配准提供初始解,即利用选取的圆形标定物作为配准算法的特征坐标值,采用ICP算法对标定物点云数据进行精准配准。依据预配准过程已获得的ICP配准算法初始解,结合已获取到的点云数据,再以ICP算法对滴水莲进行4个角度点云数据的配准,最终实现多组点云的精准配准。

配准后的点云存在重叠区域,出现大量冗余数据点,点云数据量达到百万级。为减少冗余数据点,降低处理设备的性能要求和数据处理时间,本研究提出体素化网格法对点云进行下采样,实现保持点云三维形态特征的前提下,有效滤除冗余数据点的目的。

利用PCL点云库实现的VoxelGrid类为输入的点云数据创建一个三维体素栅格,在每个体素内所有点的重心近似代表体素中其他点,即该体素内所有点可由一个重心点表示。滴水莲点云配准后大部分点云比较集中,共有3 033 389个数据点,此时用体素中所有点的重心近似表示其他点,经统计,点云数据降为81 741个,减少了97.35%。

2 建模试验与结果分析

为验证本研究所提出的基于轻量化处理的植物三维建模优化方法的有效性,对单植株和多植株试验对象进行点云精简与三维模型重建试验验证。

2.1 点云去噪

以315°试验获取的滴水莲点云数据组为例,在未滤除噪点时,滴水莲的点云数据存在大量噪点,叶片、枝茎等表现模糊(图9a)。进行离群点滤除后,噪声数据点减少11.20%(图9b)。观察图9b可发现,边缘处的叶子点云也被部分滤除,但经融合多组点云时,误滤除的点云数据在其他角度的点云数据组中得到补偿。

图9 滴水莲点云去噪结果图 Fig.9 Point cloud denoising result of Dishgyi

2.2 点云配准

图10为仅采取预配准处理进行点云配准获得的滴水莲点云初始配准图。此时的点云虽能实现配准,但明显存在点云显示效果不理想、配准后的植物点云表型形态不明显的缺陷。

图10 滴水莲预配准结果 Fig.10 Results of pre-registration of Dishgyi

如图11所示,预配准情况下只能分辨出5条茎秆,而精准配准后可清晰分辨出9条茎秆(图11d);对比图 11b和图 11e,精准配准后的植株轮廓更加清晰,叶子与茎秆、叶子间的点云重合现象消失或大量减少,视觉上模糊程度降低;对比图11c和图11f,茎枝分离更加明显,茎叶的细节也更易区分。

图11 滴水莲预配准与精准配准结果 Fig.11 Pre-registration and accurate registration results of Dishgyi

2.3 点云精简

滴水莲点云精简试验中,配准得到滴水莲点云共有3 033 389个数据点(图12a)。采用体素网格法进行点云精简,经统计,点云数据点降为81 741个,减少了97.35%(图12b)。与图12a相比,精简后的滴水莲点云模型的基本表型特征细节,如叶片、轮廓、茎秆的粗细等仍能清晰区分。

图12 滴水莲点云精简结果 Fig.12 Result of point cloud streamlining of Dishgyi

进一步,针对图12b,以所获取的滴水莲边缘点云反射率进行赋色,进行精简点云图的植株三维重建。由重建的滴水莲三维模型(图13)可见,植物点云叶子及茎杆轮廓清晰,形状及朝向与精简前的叶子和茎杆的点云一致,精简后的植物点云表型可有效重构植株的形态特征。

图13 滴水莲精简点云图的三维重建图像 Fig.13 3D reconstruction image of simplified point cloud of Dishgyi

2.4 单植株建模结果与分析

依照上述方法对九里香、茉莉和柑橘植株进行精简点云数据获取和统计,植株配准点云图和精简点云图如图14所示,4种单植株精简前后点云数量对比见表2。

表2 单植株的点云数精简前后对比 Table 2 Comparison of point cloud number of single plants before and after simplification

图14 单植株点云配准、精简和建模结果 Fig.14 Results of point cloud of single plants after registration, simplification and 3D modeling

精简后植株的点云数据量下降96.90%~97.35%,九里香点云模型仍可区分出倒卵形叶片轮廓、茎秆粗细等特征;茉莉点云模型可区分出3条分枝、椭圆形叶片轮廓等信息;柑橘点云模型可区分出主杆、茎秆粗细等特征。

为验证精简后点云数据的精准度,将植株点云株高和冠幅与实际测量株高和冠幅进行对比,结果见表3所示。根据对比数据可得:株高误差范围为0.20%~0.45%,冠幅误差范围为0.17%~0.47%,精简后的点云数据与实际测量数据误差小于0.50%,满足获取植物表型信息需求。

表3 株高与冠幅的实测与点云测量结果对比 Table 3 Comparison between measured plant height and crown width of single plants and measured values of point cloud m

2.5 多植株分离建模试验与结果分析

采用本研究方法对桐花轻量化处理的三维进行建模,图15a为精配准得到的桐花点云图像,从左到右记为1~8号。图15b到图15i为提取的单株桐花的精配准与精简点云后的对比图。将得到的单株桐花点云参数与实际测量参数进行对比,结果见表4。由图15可见,分离后的各植株精简点云图仍清晰描述其叶、枝、茎的形态特征,8棵桐花的株高误差在0.25%~0.60%,冠幅误差在0.42%~0.80%,冗余点云数据精简了96.90%~97.20%。

图15 多植株桐花点云配准、精简和三维建模结果图 Fig.15 Results of multi plant tung flower point cloud after registration, simplification and 3D modeling

表4 多植株分离的株高与冠幅实测与点云测量结果对比 Table 4 Comparison of measured plant height and crown width with point cloud measurements

图16a为配准得到的灰莉点云图像,图16b为精简后的灰莉点云图像。配准得到的灰莉点云中共有11 938 750个数据点,采用体素网格法进行点云精简,经统计,点云数据点降为334 285个,减少了97.20%的点云数据量。根据精简后的灰莉点云数据计算可得:1)精简后的植物点云表型平均株高为0.976 m,与实际平均株高0.975 m误差0.10%;2)精简后的植物点云叶子及茎杆轮廓清晰,形状及朝向与精简前的叶子和茎杆的点云一致。可见,精简后的灰莉点云表型基本反映灰莉植株形态特征。

图16 灰莉点云配准、精简和三维建模结果图 Fig.16 Results of Fagraea point cloud after registration, simplification and 3D modeling

上述试验结果表明,引入辅助特征坐标为ICP算法提供初始解的方法,可有效提高配准精度与处理效率;采用体素化网格法进行点云精简,可在保持点云三维形态特征前提下,大幅度滤除冗余数据点,实现植株形态特征的精准重构。植物三维建模是无损获取植物表型信息的重要手段,如何实现植物点云的精准配准与精简、获取植物表型信息,是该研究进一步应用于植物生理、作物栽培等领域的探索重点。

3 结 论

本研究提出一种基于轻量化处理的ICP优化算法,寻求构建低数据量的精准植物三维模型。通过滴水莲三维建模点云数据的获取试验,得到结论如下:

1)采用kd-tree基于邻域点数去噪方法对单植株和多植株点云数据离群点进行判定去噪,可有效滤除噪声数据点。

2)基于人机交互求取ICP算法初始解,解决了算法容易陷入局部最优解的问题。植株点云经精准配准后,轮廓清晰度有效提高。

3)利用体素化网格法进行点云精简,点云冗余数据减少96.90%~97.35%,经精简点云图植株三维重建可见,精简后的植物点云表型可精准反映植株实际形态特征。

4)精简后的点云模型基本表型特征可有效区分,对单植株和多植株的点云数据处理效果良好。单植株建模试验,株高误差范围是0.20%~0.45%,冠幅误差范围是0.17%~0.47%;多植株建模试验,植株株高误差范围0.25%~0.60%,冠幅误差0.42%~0.80%。表明本研究提出的优化方法在保持植物三维建模特征信息的同时实现了点云数据量的有效降低,可为植物表型的三维建模轻量化处理研究提供参考。

猜你喜欢

表型精简滴水
基于衰老相关分泌表型理论探讨老年慢性阻塞性肺疾病患者衰弱发生机制
滴水藏海
探访“人类表型组”
表型组研究:中国后发先至
作物表型组学和高通量表型技术最新进展(2020.2.2 Plant Biotechnology Journal)
基层精简办事手续不能各唱各调
基于自注意力机制的冗长商品名称精简方法
极简垃圾桶
小水滴
等你来挑战