朱超 吴凡 刘长斌 赵健翔 林丽丽 田雪莹 苗腾

摘要： 针对当前三维点云处理方法在玉米植株点云中识别雄穗相对困难的问题，提出一种基于超体素聚类和局部特征的玉米植株点云雄穗分割方法。首先通过边连接操作建立玉米植株点云无向图，利用法向量差异计算边权值，并采用谱聚类方法将植株点云分解为多个超体素子区域；随后结合主成分分析方法和点云直线特征提取植株顶部的子区域；最后利用玉米植株点云的平面局部特征在顶部子区域中识别雄穗点云。对3种点云密度的15株成熟期玉米植株点云进行测试，采用F1分数作为分割精度判别指标，试验结果与手动分割真值相比，当点云密度为0.8、1.3和1.9个点/cm时，雄穗点云分割的平均F1分数分别为0.763、0.875和0.889，分割精度随点云密度增加而增高。结果表明，本研究提出的基于超体素聚类和局部特征的玉米植株点云雄穗分割方法具备在玉米植株点云中提取雄穗的能力，可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术支持。

关键词： 玉米雄穗；三维点云分割；表型检测；超体素聚类；局部特征；主成分分析

中图分类号： S24             文献标志码： A            文章编号： 202102-SA001

引用格式：朱超, 吴凡, 刘长斌, 赵健翔, 林丽丽, 田雪莹, 苗腾. 基于超体素聚类和局部特征的玉米植株点云雄穗分割[J]. 智慧农业(中英文), 2021, 3 (1): 75-85.

Citation:ZHU Chao, WU Fan, LIU Changbin, ZHAO Jianxiang, LIN Lili, TIAN Xueying, MIAO Teng. Tassel segmentation of maize point cloud based on super voxels clustering and local features[J]. Smart Agriculture, 2021, 3 (1): 75-85. (

1  引  言

玉米是重要粮食作物，其产量对保障全球粮食供应至关重要［1］。玉米雄穗相关的表型参数是玉米育种的重要农艺性状［2-4］。传统的雄穗表型参数提取方法主要是人工测量，方法效率低、主观性强、破坏性强。近年来，计算机视觉技术的发展为作物表型参数的自动测量提供了条件［5,6］。

基于二维图像的视觉技术率先被应用于雄穗表型提取中。Gage等［7］开发了一种基于图像的玉米雄穗表型分析系统，可对离体的雄穗进行标准图像获取，进而提取穗长、穗宽等表型参数。一些研究工作聚焦于在玉米植株或冠层图像中识别雄穗。Ye等［8］结合方向梯度直方图特征和支持向量机分类器对雄穗区域进行识别，再采用显著性检测方法实现雄穗像素分割。Kurtulmus和Kavdr［9］结合颜色特征和支持向量机分类器进行雄穗定位，并采用层次聚类方法实现雄穗分割。Lu等［10］采用多个角度的图像提升雄穗分割的精度，并实现了对雄穗颜色、分支数等参数的粗略测量。Lu等［11］构建了雄穗识别深度学习网络TasselNet，实现了在玉米冠层图像中对雄穗的准确计数。二维图像只是三维空间的一个投影，利用二维图像可以较好地进行雄穗计数工作，但对穗长、穗宽等参数的提取结果并不准确。

随着三维激光扫描仪［12］、飞行时间相机［13］，以及激光雷达［14］等三维传感器的普及，基于三维点云的视觉技术被用于作物表型研究，如作物种类识别［15］、作物长势动态监控［16］、冠层三维重建［17,18］，以及各类表型参数的测量［19-22］等，这些研究证明了从三维空间提取作物表型具有更高的准确性［23,24］。但是，当前基于三维点云的玉米雄穗表型研究仍然较少。韩东等［25］利用立体视觉技术对离体的雄穗进行三维点云重建，同时采用基于密度的聚类算法对雄穗进行分割，进而提取表型参数。

目前，在玉米植株或群体点云中对雄穗表型参数进行提取仍具挑战，其中，对雄穗点云的准确分割是技术难点。针对该问题，本研究提出一种基于超体素聚类和局部特征的玉米植株点云雄穗分割方法，可直接在玉米植株点云上对雄穗点云进行分割和识别，为玉米高通量表型检测、三维几何重建等研究和应用提供技术基础。

2  材料与方法

2.1试验材料与点云数据获取

田间试验于2019年5月至10月在沈阳农业大学玉米试验田（116.16°E，39.56°N）进行。选取种植行距60 cm、株距25 cm的成熟期玉米植株為研究对象，使用FreeScan X3手持激光扫描仪进行玉米植株三维点云获取。将田间成熟期玉米植株移植到盆中，并转移到室内进行点云获取。由于FreeScan X3激光扫描仪需要借助激光感光片进行三维定位，因此，在采集数据时，先将感光片粘贴在辅助支架上，并将支架围在被测植株周围，保证激光线能同时扫描到植株和感光片，数据采集过程如图1（a）所示。利用CloudCompare软件对获取的原始点云数据进行预处理，手动删除盆、移动支架的点云数据，仅保留玉米植株点云数据。

为验证本研究分割算法对不同密度点云植株的分割效果，选取15株不同形态的成熟期玉米植株点云作为测试样本，每个玉米植株点云均被采样到3个点云密度（如图1（b）），分别为0.8、1.3和1.9个/cm，点云密度表示每厘米存在多少个点；3个密度的植株点云平均数量约为6000、15,000和30,000个点，雄穗点云平均数量约为140、360和890个点。利用CloudCompare软件对被测玉米植株点云进行手动分割获得雄穗点云的分割真值。

2.2雄穗点云分割方法

本研究方法以玉米植株散乱点云为输入，通过点云超体素聚类、植株顶部子区域提取和雄穗点云识别3个主要步骤，实现对雄穗点云的识别和分割。

2.2.1点云超体素聚类

本研究首先通过点云超体素聚类，将植株点云分解为多个点云子区域，这些子区域由具有几何相似性的局部区域点云整合形成，并且这些子区域较好地保留了植株点云器官间的边界信息，便于后续进行雄穗点云的分割。本研究采用谱聚类算法实现点云超体素聚类，假设输入的三维玉米点云为P =｛pi|i=1，2，…，n｝，点数量为n，对P进行超体素聚类的具体步骤如下。

（1）边连接操作。对P中的所有点均进行边连接操作形成无向图。对于任意一点pi，首先通过K近邻空间搜索方法［26］获得P中与点pi欧式距离最小的k个近邻点，形成点集Ai =｛aj| j=1，2，…，k，aj ∈ P｝。之后遍历Ai中的所有点，判断每个点是否能与pi连接形成边。如果Ai中的点aj在P中的k个近邻点不包含pi，则pi与aj不能连接成边；反之则可连接形成1条边，且该边的权重值e通过公式（1）进行计算：

θ_ij=acos                          (n_i?n_j )

e={(0.1@0.9)┤ ((@)&(θ_ij<0.9@θ_ij≥0.9))    （1）其中，ni、nj分别表示点pi、aj的单位法向量；θij为ni和nj之间的夹角，rad。本研究利用点云处理库（Point Cloud Library，PCL）［27］中的法向量估算模块计算点云法向量。该模块首先采用主成分分析法［28］估算法向量，初始的法向量存在定向不一致的问题，导致相邻点云的法向量方向可能相反；该模块通过视点位置对法向量方向进行调整，给定一个视点三维坐标，调整所有点云法向量的朝向，使其均指向视点方向。

（2）构建归一化拉普拉斯矩阵。构建植株点云P的邻接矩阵W，该矩阵为n×n大小的方阵，其第i行、k列的矩阵元素wik表示点pi与pk之间的连接关系，如果pi与pk之间无边连接，则wik=0；如果pi与pk之间有边连接，则wik等于该边的权重值。构建n×n大小的度矩阵D，该矩阵第i行、k列的矩阵元素值dik通过公式（2）计算。

d_ik={(∑_(k=1)^n?〖w_ik (&i=k)〗@0(&                                                                                                                                                                                   (&i≠k)))┤   （2）

從公式（2）中可以看出，度矩阵D的对角线元素为非0值，其余元素均为0。得到邻接矩阵W和度矩阵D之后，通过公式（3）计算归一化拉普拉斯矩阵L。

L=1/√(D^ )×(D-W)×1/√(D^ )   （3）

（3）点云聚类。采用奇异值分解方法计算归一化拉普拉斯矩阵L的特征值和特征向量，并选出最小的K个特征值对应的特征向量ui（i =1, 2, …, K），每个特征向量ui均为n维列向量，K为用户输入的类别数量参数，本研究设K=80。将上述K个特征向量组合成n×K大小的特征矩阵F =［u1, u2, …, uK］，并将F按行标准化。如果将F中的每个K维行向量看作1个数据样本，则F矩阵中共有n个数据样本。采用K-means聚类方法将这n个数据样本分为K个类别，其中第i个数据的类别即为植株点云P中第i个点pi的类别。最后将类别相同的点划分为同一子区域，则植株点云最终被划分为K个子区域点集。用符号?表示子区域点集，第m个子区域用符号?m（m=1，2，…，K）表示。本研究以点云法向量作为特征，将法向量相似的邻近点云聚类成同一子区域。

不同株型植株的点云超体素聚类结果如图2所示，从图中可以看出，植株的每个器官均被分解成多个边界光滑的子区域，且每个子区域的整体形态相对简单，便于用简单的几何特征进行表示和识别。例如，叶片上的子区域近似平面，茎上的子区域近似圆柱。但在个别器官交界处的位置，会存在分属不同器官的点云被误划分为同一子区域的现象，如部分叶领点云与茎形成同一子区域、部分雄穗点云与顶端叶片形成同一子区域。

2.2.2植株顶部子区域提取

雄穗位于玉米植株的顶部区域，因此，可通过点云在植株中的相对位置对雄穗点云进行大体定位。一些研究利用深度相机获取植株点云数据［29,30］，在数据获取时可通过调整相机位置使植株点云所在坐标系的某个坐标轴与玉米植株的生长方向重合，从而通过点云坐标值即可初步对植株顶部的子区域进行识别。但利用手持激光三维扫描仪、多角度图像重建方法获取的点云数据属于散乱点云，其与所在空间坐标系坐标轴之间的相对位置是随机的，因此增大了对植株頂部区域的提取难度。本研究采用如下步骤对植株顶部区域进行定位。

（1）拟合植株点云的主成分向量。采用主成分分析法提取植株点云P的主成分方向。首先求植株的中心点pc。

p_c=1/n ∑_(i=1)^n?p_i （4）

之后利用公式（5）构建协方差矩阵C。

C=1/n ∑_(i=1)^n?〖(p_i-p_c )×(〗 p_i-p_c )^T （5）其中，矩阵C为3×3对称实方阵。

采用奇异值分解算法对C进行特征值分解，得到3个非负特征值λ1、λ2、λ3 （λ1≥λ2≥λ3）以及对应的3个特征向量I1、I2、I3。特征向量I1、I2、I3分别为植株点云的第1、2、3主成分向量。

（2）提取候选的顶部子区域集合。以植株点云第1主成分向量I1为方向向量，过植株中心点pc的直线参数方程L（t）为：

L(t)=I_1 t+p_c    （6）

利用公式（7）计算P中每个点pi在直线L（t）上的投影坐标ti。

t_i=(p_i-p_c)?I_1 （7）

找到所有点投影坐标的最大值t1和最小值t2，之后利用公式（8）和公式（9）计算2个阈值t3和t4用于提取植株两端区域的点云。

t_3=0.9t_1+0.1t_2  （8）

t_4=0.9t_2+0.1t_1  （9）

定义子区域集合V1和V2，并遍历所有点云子区域。如果子区域中存在投影坐标>t3的点云，则将该子区域加入集合V1。如果子区域中存在投影坐标

（3）识别顶部子区域。成熟期玉米植株底部区域的茎为圆柱形，具有较明显的直线线性特征。与之相反，植株顶部区域包含了雄穗，呈现一定的扫帚状，直线线性特征较弱。基于上述特点，本研究通过计算子区域中点云的直线线性特征从V1和V2中选出顶部子区域集合。

定义1个子区域点集的直线线性特征为集合内每个点的直线线性特征的平均值。为计算子区域点集?中一点p的直线线性特征，首先在?中查找与p点距离小于r1的所有点，组成点集B1。其中r1为用户可调节参数，本研究设r1=10 cm；之后采用主成分分析法，计算B1点集的3个特征值λ1、λ2、λ3 （λ1≥λ2≥λ3），则p点的直线线性特征f1通过公式（10）计算。

f_1=((λ_1-λ_2))/λ_1   （10）

利用上述方法分别计算V1、V2中每个子区域的直线线性特征，并求V1中所有子区域直线线性特征的平均值fv1以及V2中所有子区域直线线性特征的平均值fv2，比较fv1和fv2的大小，较小值对应的子区域集合为植株顶部区域，较大值对应的区域集合为植株底部区域。V1、V2集合的子区域直线线性特征热力图如图3（b）所示，从图中可以看出，顶部区域的雄穗子区域具有非常小的直线线性特征值，导致该候选区域的直线线性特征的平均值大幅度降低。而茎则具有较大的直线线性特征值，从而使底部区域的特征值保持在较高的数值。

2.2.3雄穗点云识别

上节提取的顶部子区域集合（图4（a））包含了3类子区域，分别为只包含雄穗点的雄穗子区域、只包含叶片点的叶片子区域以及同时包含雄穗点和叶片点的混合子区域。为实现雄穗点云的精确分割，需要在顶部区域中识别出雄穗子区域，并在混合子区域中识别出雄穗点云。由于叶片比雄穗具有更明显的平面特征，因此本研究通过子区域内点云的平面特征来识别雄穗点云和叶片点云，具体步骤如下。

（1）提取子区域内点云的平面特征。为计算子区域点集?中一点p的平面特征，在?中找到与p点距离小于r2的所有点，组成点集B2，其中r2为用户可调节参数；之后计算B点集的3个特征值λ1、λ2、λ3 （λ1≥λ2≥λ3），则p点的平面特征f2（p）通过公式（11）计算。

f_2 (p)=((λ_2-λ_3))/λ_1 （11）

子区域点集?的平面特征f2（?）为集合内每个点的平面特征的平均值。植株顶部点云平面特征的热力图如图4（b）所示，特征值越大，表示平面特征越弱。

（2）点云分类。计算所有子区域平面特征的平均值?(f_2 )和方差S2。如果子区域平面特征> ?(f_2 )，则该子区域被分类为叶片子区域；如果子区域平面特征≤ ?(f_2 )，则该子区域被分类为雄穗子区域，其内点云被分类成雄穗点；如果子区域的平面特征f2（?）满足 ?(f_2 ) < f2(?)< ?(f_2 )+ 0.5S2，则该区域为混合子区域。在混合子区域中，将点云平面特征f2（p）小于f2的点分类成雄穗点云。点云分类过程如图4（c）所示。

（3）去噪。在混合子區域中，叶片边缘的点云的平面特征也较小，因此在分类时容易被分类成雄穗点。但通常情况下，这些误分的点与整个雄穗点云的距离较远，因此本研究采用基于统计分析的点云去噪方法［30］从雄穗点云中排除这些误分点。

最终雄穗分割的结果和真值的结果分别如图4（d）和4（e）所示。从图中可以看出，本研究方法分割出了大部分的雄穗点云。但是，本研究的点云分类方法存在对子区域类别的误识别现象，从而降低雄穗点云的分割精度。例如，图4（a）中的子区域1为混合子区域，但其内部叶片点云要远多于雄穗点云，因此该子区域平面特征值更多地体现了叶片点云的特征，导致该子区域被误分类为叶片子区域，使得最终的分割结果会缺失该子区域内的雄穗点。图4（a）中的混合子区域2，其内部叶片点云和雄穗点云之间的数量相近，因此可通过平面特征值正确识别子区域类别，进而识别出该子区域内的多数雄穗点云。

2.3分割精度评估

本研究使用精确度（Precision）、召回率（Recall）、F1分数（F1 score）对分割精度进行评估。对于雄穗点云，用TP表示属于雄穗的点云被正确分割为雄穗的点数量，用FP表示不属于雄穗的点云被误分割成雄穗的点数量，用FN表示属于雄穗的点云被误分割为其他器官点云集合的点数量，则精确度、召回率和F1分数的计算如公式（12）~（14）所示。

p_r=T_p/(T_p+F_p )   （12）

R_e=T_p/(T_p+F_N )   （13）

F_1=2×(P_r+R_e)/(P_r+R_e ) （14）其中，Pr表示精确度；Re表示召回率；F1表示F1分数。一般来说，分割精确度和召回率之间是矛盾的，因此常采用F1分数来对分割算法效果进行综合考量，越高的F1分数说明分割效果越好。

3  结果与分析

3.1分割效率和精度

在配置为2.2 GHZ CPU、DDR32 G内存的笔记本工作站上进行了算法测试。本研究在进行点云超体素聚类时，利用奇异值分解方法对n×n大小的归一化拉普拉斯矩阵进行特征向量分解，导致整个算法的时间复杂度达到O（n3）。因此随着点云密度和点云数量的增长，算法的运行时间会显著增加。当点云密度为0.8个/cm时，成熟期玉米植株点云个数平均在6000个左右，此时算法的平均总运行时间为2.26 s；点云密度为1.3个/cm时，植株点云数量平均约为15,000，平均总运行时间为6.85 s；当点云密度增大到1.9个/cm时，植株平均点云数量增加到30,000个左右，此时算法的总运行时间增长到27.37 s。本研究方法的具体运行时间如表1所示。

本研究算法的分割精度如表2所示。点云密度为0.8个/cm时，雄穗的平均F1分数、平均精确率和平均召回率分别为0.763、0.746和0.832；点云密度为1.3时，上述3个指标分别为0.875、0.898和0.867；点云密度为1.9个/cm时，3个分割指标分别为0.889、0.950和0.849。从F1分数指标可以看出，随着点云密度增加，本研究的分割精度逐渐增加，但点云密度1.3个/cm和1.9个/cm之间的分割效果差距不大。

点云密度和点云个数的增加，主要影响雄穗分割步骤中的点云平面特征计算结果。当点云个数较少时，顶部叶片点云也相对稀疏，叶片点的平面特征和雄穗点的平面特征差距不明显，造成点云类别误判的情况增大，分割出的雄穗点云中包含较多叶片点云，分割精确度不高；当点云个数增加时，叶片点云的平面特征更加明显，因此，雄穗点和叶片点的区分度加大，分割出的雄穗点云中包含的叶片点云减少，分割精确度显著提高。从表1的精确度指标可以看出，随着点云密度的增大，精确度显著提高，而召回率则变化不大，F1分数的增长主要来自于精确度的增加。

点云密度为1.9个/cm的玉米植株雄穗分割可视化结果和F1分数如图5所示。从图中可以看出，大多数测试样本均出现了雄穗分割不完整的情况，这说明本研究方法存在欠分割问题。当雄穗完全高于顶部叶片或与叶片距离较远时，本研究方法分割精度非常高（如图5（m）~图5（o））；与之相反，当雄穗被叶片包裹住或距离较近时（如图5（a）~图5（c）），分割精度较低。造成这种现象的原因是，如果雄穗与叶片距离较近，两者之间的边界点云的法向量和平面局部特征非常相似，难以通过点云超体素聚类以及平面特征进行准确分割。

3.2算法参数

影响本研究算法的参数主要为点云超体素聚类步骤中的K参数、植株顶部子区域提取中的r1参数和雄穗点云识别中的r2参数。K参数会影响点云超体素聚类得到的子区域个数，K值越大，子区域个数越大。本研究在后续植株顶部子区域提取和雄穗点云识别操作中，均以子区域作为点云集合，计算点的直线线性特征和平面特征。K值越小，每个器官被分成的子区域个数越少，每个子区包含多个器官点云的概率会增大，造成直线线性特征和平面特征对茎、叶片、雄穗点的区别度下降，降低分割精度。但K值越大，超体素聚类的计算时间会显著增加。本研究中，通过试验确定参数K=80，该值对于不同株型、不同密度的玉米成熟期点云均适用，可将每个器官分解成多个边界光滑且形态简单的子区域，便于利用直线线性特征和平面特征对点云类别进行判断。

r1参数会影响点的直线线性特征计算结果。如果r1值较小，底部子区域茎点云在计算一个点的直线特征时，搜索得到的邻域点仅包含茎圆柱面上的一个侧面，使计算得到的直线特征值减少。相反，r1值越大，茎点云的直线特征值越大，底部子区域和顶部子区域的直线特征对比越明显，但过大的r1值会增多邻域点个数，降低特征值的计算效率。本研究设r1=10.0 cm，由于玉米茎的直径通常不会大于10.0 cm，因此该值可以使每个茎点的邻域点集合均为一个较完整的圆柱状点云集合，使茎点云的直线特征值较大，同时，也不会过多地降低计算效率。r2参数会影响点的平面特征计算结果，进而改变雄穗点云的识别结果。玉米叶片的平面特征具有局部性，即整个叶片表面呈现较明显的弯曲特征，但局部小区域是较平展的。随着r2值的增大，每个点搜索得到的邻域点范围会增大，则叶片点的平面性特征值会增大，降低叶片点和雄穗点之间的平面特征对比度，因此r2值不宜过大。由于顶部子区域包含的叶片均为上部叶的叶尖区域，该区域叶片宽度通常不会大于6.0 cm，同时顶部叶片经常沿着叶脉卷曲，因此r2值要小于3.0 cm，这样才能尽可能地保证叶片点云的平面特征较明显。但过小的r2值会使邻域点个数过少，很难描述局部区域的几何特性，降低平面特征计算的准确性，同时，雄穗的每个分支在极小区域内也可能会呈现一定的平面特征，因此要保证r2值不能小于雄穗分支的宽度值。玉米雄穗每个分支的宽度通常会小于1.0 cm，因此r2值要大于1.0 cm。

本研究在设定r2具体参数值时，针对每一个点云密度的植株，均从r2  = 1.0 cm开始进行参数选择测试，按照间隔0.1 cm逐渐增大r2，直到r2 = 3.0 cm。选择分割效果较好的r2参数进行计算，当多个参数值分割效果差距不大时，选择其中的最小值作为r2参数，从而尽可能地减少邻域点数量，提高平面特征计算效率。本研究通过该方式确定r2值，当点云密度= 0.8个/cm时，r2设为2.4 cm；点云密度= 1.3个/cm时，r2设为1.8 cm；点云密度=1.9个/cm时，r2设为1.0 cm。随着点云密度的减少，r2参数值明显增大，这是由于点云密度较少时，为了找到足够多的邻域点描述局部平面特征，需要增大邻域搜索半径。当给定一个新密度的植株点云时，可以利用本研究给出的r2值作为参考提高参数选择效率。例如，如果植株点云密度为1.6个/cm，则r2值可在点云密度为1.9和1.3个/cm的参数值之间进行测试，即r2值从1.0 cm开始进行参数选择，按照间隔0.1 cm逐渐增大r2到1.8 cm。

3.3展望

本研究算法目前不能较好地处理雄穗被叶片包裹住或距离较近的情况，此时叶片和穗之间的边界点云的法向量和平面局部特征非常相似，造成分割精度下降。Jin等［31］开发了基于中值归一化向量的区域生长茎叶分割算法，利用欧式距离作为特征，采用启发式区域增长策略从器官底部的种子点开始，逐步将器官点云进行完整分割，该方法证明了距离特征在玉米器官分割时的有效性。在后续的工作中，以本研究分割出的穗点云作为种子点，结合基于距离条件限定的区域增长方法，有望优化最终的穗点云分割结果。

本研究算法只能对单株玉米植株点云进行雄穗分割。为获得单株点云，需将玉米植株移植入盆并采用激光扫描仪手动进行数据获取，数据获取效率低。MVS Pheno平台可快速、自动地获取不用角度的玉米植株图像，并利用运动恢复结构方法获得质量较好地玉米单株点云［32］。下一步可将本研究方法与MVS Pheno平台进行结合，加快雄穗表型检测速度。

4  结  论

本研究提出一种基于超体素聚类和点云局部特征的玉米植株三维点云雄穗分割方法，验证了在玉米成熟期植株點云上识别、分割雄穗的可能性。通过分析本研究试验结果，得出以下结论。

（1）本研究方法的分割精度随植株点云密度的增大而增加。当点云密度为0.8、1.3和1.9个/cm时，雄穗点云分割的平均F1分数分别为0.763、0.875和0.889。

（2）本研究算法的时间复杂度为O（n3），随着点云密度和点云数量的增长，算法的运行时间会显著增加。

（3）综合考虑分割精度和运行时间，本研究对点云密度为1.3个/cm、点云的平均数量约为15,000的成熟期玉米植株点云处理效果最好，分割F1分数可达到0.875，运行时间为6.85 s。

结果表明，本研究方法具有在玉米植株散乱点云中提取雄穗点云的能力，可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术手段。

参考文献：

[1]    TESTER M, LANGRIDGE P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327: 818-822.

[2]    DUNCAN W G, WILLIAMS W A, LOOMIS R S. Tassels and the productivity of maize[J]. Crop Science, 1967, 7: 7-9.

[3]    MEGHJI M R, DUDLEY J W, LAMBERT R J, et al. Inbreeding depression, inbred and hybrid grain yields, and other traits of maize genotypes representing three eras[J]. Crop Science, 1984, 24(3): 545-549.

[4]    BROWN P J, UPADYAYULA N, MAHONE G S, et al. Distinct genetic architectures for male and female inflorescence traits of maize[J]. PLoS Genet, 2011,7(11): ID e1002383.

[5]    ZHANG Y, ZHANG N. Imaging technologies for plant high-throughput phenotyping: A review[J]. Frontiers of Agricultural Science and Engineering, 2018, 5(4): 406-419.

[6]    FERNANDA D M, GEMMA M, CAROLINA R A, et al. Yielding to the image: How phenotyping reproductive growth can assist crop improvement and production[J]. Plant Science, 2018, 282: 73-82.

[7]    GAGE J L, MILLER N D, SPALDING E P, et al. TIPS: A system for automated image-based phenotyping of maize tassels[J]. Plant Methods, 2017, 13(1): 27-32.

[8]    YE M, CAO Z, YU Z. An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency[C]// SPIE Conference on Multispectral Image Processing and Pattern Recognition. Washington, USA: SPIE Digital library, 2013.

[9]    KURTULMU F, KAVDR S. Detecting corn tassels using computer vision and support vector machines[J]. Expert Systems with Applications, 2014, 41(16): 7390-7397.

[10]  LU H, CAO Z, XIAO Y, et al. Fine-grained maize tassel trait characterization with multi-view representations[J]. Computers and Electronics in Agriculture, 2015, 118: 143-158.

[11]  LU H, CAO Z, XIAO Y, et al. TasselNet: Counting maize tassels in the wild via local counts regression network[J]. Plant Methods, 2017, 13(1):1-17.

[12]  MAKANZA R, ZAMAN-ALLAH M, CAIRNS J E, et al. High-throughput method for ear phenotyping and kernel weight estimation in maize using ear digital imaging[J]. Plant Methods, 2018, 15(1): ID 49.

[13]  王傳宇, 郭新宇, 吴升, 等. 基于计算机视觉的玉米果穗三维重建方法[J]. 农业机械学报, 2014, 45(9): 274-279.WANG C, GUO X, WU S, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the CSAM, 2014, 45(9): 274-279.

[14]  温维亮, 郭新宇, 杨涛, 等. 玉米果穗点云分割方法研究[J]. 系统仿真学报, 2017, 29(12): 3030-3034, 3041.WEN W, GUO X, YANG T, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030-3034, 3041.

[15]  温维亮, 王勇健, 许童羽, 等. 基于三维点云的玉米果穗几何建模[J]. 中国农业科技导报, 2016, 18(5): 88-93.WEN W, WANG Y, XU T, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88-93.

[16]  YU Z, ZHOU H, LI C. An image based automatic recognition method for the flowering stage of maize[C]// International Symposium on Multispectral Image Processing and Pattern Recognition. Washington, USA: SPIE Digital library, 2019.

[17]  BRICHET N, FOURNIER C, TURC O, et al. A robot-assisted imaging pipeline for tracking the growths of maize ear and silks in a high-throughput phenotyping platform[J]. Plant Methods, 2017, 13(1): ID 96.

[18]  JIA H, QU M H, WANG G, et al. Dough-stage maize (Zea mays L.) ear recognition based on multiscale hierarchical features and multifeature fusion[J]. Mathematical Problems in Engineering, 2020, 2020(2): ID 5582598.

[19]  PAULUS S, SCHUMANN H, KUHLMANN H, et al. High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants[J]. Biosystems Engineering, 2014, 121: 1-11.

[20]  PAULUS S, DUPUIS, J, RIEDEL, S, et al. Automated analysis of barley organs using 3D laser scanning: An approach for high throughput phenotyping[J]. Sensors, 2014, 14(7): 12670-12686.

[21]  CH?N? Y, ROUSSEAU D, LUCIDARME P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

[22]  BUSEMEYER L, MENTRUP D, M?LLER K, et al. BreedVision－A multi-sensor platform for non-destructive field-based phenotyping in plant breeding[J]. Sensors, 2013, 13(3): 2830-2847.

[23]  LIN Y. LiDAR: An important tool for next-generation phenotyping technology of high potential for plant phenomics?[J]. Computers and Electronics in Agriculture, 2015, 119: 61-73.

[24]  GARRIDO M, PARAFOROS D S, REISER D, et al. 3D maize plant reconstruction based on georeferenced overlapping lidar point clouds[J]. Remote Sensing, 2015, 7(12): 17077-17096.

[25]  韩东, 杨贵军, 杨浩, 等. 基于立体视觉的玉米雄穗三维信息提取[J]. 农业工程学报, 2018, 34(11): 166-173.HAN D, YANG G, YANG H, et al. Three dimensional information extraction from maize tassel based on stereoscopic vision[J]. Transactions of the CSAE, 2018, 34(11): 166-173.

[26]  MILLER F P, VANDOME A F, MCBREWSTER J. KD-TREE[M]. San Francisco, California, USA: Alpha Press, 2009.

[27]  RUSU R B, COUSINS S. 3D is here: Point cloud library (PCL)[C]// IEEE International Conference on Robotics & Automation. New Jersey, USA: IEEE Press, 2011.

[28]  GROTH D, HARTMANN S, KLIE S, et al. Principal components analysis[J]. Methods in Molecular Biology, 2013, 930: 527-547.

[29]  XIANG L, BAO Y, TANG L, et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis[J]. Computers and Electronics in Agriculture, 2019, 162: 951-961.

[30]  仇瑞承, 張漫, 魏爽, 等. 基于 RGB-D相机的玉米茎粗测量方法[J]. 农业工程学报, 2017, 33(S1): 170-176.QIU R, ZHANG M, WEI S, et al. Method for measurement of maize stem diameters based on RGB-D camera[J]. Transactions of the CSAE, 2017, 33(S1): 170-176.

[31]  JIN S, SU Y, WU F, et al. Stem-leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1336-1346.

[32]  WU S, WEN W, WANG Y, et al. MVS-Pheno: A portable and low-cost phenotyping platform for maize shoots using multiview stereo 3D reconstruction[J]. Plant Phenomics. 2020, 2020(2): ID 1848437.

Tassel Segmentation of Maize Point Cloud Based on Super Voxels Clustering and Local Features

ZHU Chao1,2, WU Fan1,2, LIU Changbin3, ZHAO Jianxiang1,2, LIN Lili1,2,

TIAN Xueying1,2, MIAO Teng1,2*

（1.College of Information and Electrical Engineering, Shenyang Agricultural University, Shenyang 110866, China;

2.Liaoning Engineering Research Center for Information Technology in Agriculture, Shenyang 110866, China;

3.Beijing PAIDE Science and Technology Development Company Limited, Beijing 100097,China）

Abstract: Accurate and high-throughput maize plant phenotyping is vital for crop breeding and cultivation research. Tassel-related phenotypic parameters are important agronomic traits. However, fully automatic and fine tassel organ segmentation of maize shoots from three-dimensional (3D) point clouds is still challenging. To address this issue, a tassel point cloud segmentation method based on point cloud super voxels clustering and local geometric features was proposed in this study. Firstly, the undirected graph of the maize plant point cloud was established, the edge weights were calculated by using the difference of normal vectors, and the spectral clustering method was used to cluster the point cloud to form multiple super voxel sub-regions. Then, the principal component analysis method was used to find the two end regions of the plant and based on the observation of the straight direction of the bottom stem regions, the top and bottom regions were distinguished by the point cloud linear features. Finally, the tassel points were identified based on the plane local features of the point cloud. The sub-regions of the top region of the plant were classified into leaf regions, tassel regions, and mixed regions by plane local features of the point cloud, the tassel points in the tassel sub-region, and the mixed region were the finally segmented tassel point clouds. In this study, 15 mature maize plants with 3 point cloud densities were tested. Compared with the ground truth segmented manually, the average F1 scores of the tassel segmentation were 0.763, 0.875 and 0.889 when the point cloud density was 0.8/cm, 1.3/cm, and 1.9/cm, respectively. The segmentation accuracy of this method increased with the increase of plant point cloud density. The increase of point cloud density and the number of point clouds mainly affected the calculation results of point cloud plane features in tassel segmentation. When the number of point clouds was small, the top leaf point cloud was relatively sparse. Therefore, the difference between the plane feature of the leaf point and the plane feature of the tassel point was not obvious, which led to the increase of the misclassification of the point cloud. However, the time complexity of the algorithm was O(n3), so the increase in the density and number of point clouds would lead to a significant increase in the running time. Considering the segmentation accuracy and running time, the research obtained the best effect on the mature maize plants with a point cloud density of 1.3/cm and an average number of 15,000. The segmentation F1 score reached 0.875 and the running time was 6.85 s. The results showed that this method could extract tassels from maize plant point cloud, and provided technical support for the research and application of high-throughput phenotyping and three-dimensional reconstruction of maize.

Key words: maize tassel; 3D point cloud segmentation; phenotyping; super voxels clustering; local features; principal component analysis