基于相位相关的温室番茄植株多模态三维重建方法
2019-11-08孙国祥汪小旵刘景娜丁永前
孙国祥，汪小旵，刘景娜，孙 晔，丁永前，卢 伟
·农业信息与电气技术·
基于相位相关的温室番茄植株多模态三维重建方法
孙国祥1,2，汪小旵1,2，刘景娜1，孙 晔1，丁永前1,2，卢 伟1,2
（1. 南京农业大学工学院，南京 210031； 2. 江苏省现代设施农业技术与装备工程实验室，南京 210031）
为实现温室番茄植株多模态三维重建，解决多光谱反射率配准和多视角点云三维重建问题，基于相位相关原理将多光谱反射率配准至RGB-D图像坐标系中，建立了基于Kinect传感器测量位姿自主标定的多视角RGB-D图像三维重建方法，实现植株RGB三维点云模型和多光谱反射率点云模型重建，通过归一化灰度相似系数、配准区域光谱重叠率、互信息值3个指标客观评价二维多光谱图像配准质量，采用豪斯多夫距离客观评价植株三维点云重建精度。结果表明：30株温室番茄，每株4个重建视角，视角间隔为90°，配准区域光谱重叠率和归一化灰度相似系数的平均值分别为0.920 6和0.908 5，异源图像配准后互信息值比配准前互信息值平均提升了9.81%，植株冠层多光谱图像能够准确配准至深度坐标系，番茄植株三维重建点云距离集小于0.6 cm的比例为78.39 %，小于1.0 cm的比例为91.13 %，番茄距离集均值的平均值为0.37 cm，表明植株三维点云模型重建精度较高，能够应用于温室番茄植株多模态三维重建。植株多模态三维模型是实现三维形态测量与生理诊断的关键要素，为高通量植株表型测量提供高效精准的测量方法，对植物表型组学等研究领域的发展具有重要的意义。
图像重构；三维；立体视觉；相位相关；多模态；多光谱；三维重建；温室番茄；植物表型
0 引 言
植物信息是智能化设施园艺控制系统实现精准控制的重要决策依据[1-3]，是植物表型组学研究的关键要素[4-5]。由于植物生长信息不仅受遗传因子的控制，而且受生长环境的影响，导致植物外在三维几何形态和内在生理信息复杂各异[5]。传统人工测量方式、有损测量方式以及低通量测量方式，均已无法满足现代精准农业智能化管理和植物表型组学发展的需求，迫切需要研究高度集成、高通量、高精度的植物表型测量系统。
针对植物表型测量技术问题，主要分为外在形态测量和内在生理诊断，其中形态测量主要采用植物三维重建方法，通过三维模型计算几何形态信息，生理诊断主要采用近红外成像、红外成像、光合荧光成像、多光谱成像、高光谱成像、CT成像等技术，结合诊断模型，实现植物生理诊断[1-2,6-8]。在植物三维重建方面，主要分为主动式和被动式[9]。主动式重建方法是向待测物体发射可控制信号（激光、电磁波等），通过发射信号与返回信号的分析比较，获得待测物体表面各点的深度信息，利用深度信息进行建模，主要有基于激光测距法，如2D激光雷达[10]、3D激光雷达[11]；基于飞行时间法，如TOF相机[12]、Kinect相机[13]；结构光法，主要有直接三角法和光栅相位法，如线激光[14]。被动式重建方法是通过摄影测量方法，重建目标表面三维结构，主要有单目视觉[15]、双目视觉[16]、运动恢复结构（structure from motion，SFM）[17]、空间雕刻[18]。这些方法的共同特点是单视角成像仅能获取2D或2.5D图像，所以植物三维重建需要多个视角图像。植株形态复杂，在不同测量位姿和视角，植株点云模型配准需要重复标定或估计变换矩阵，如Kenta等采集50个视角下植株图像，根据SFM原理，实现植物三维点云模型重建[19]，Zhang等采集24个视角下植株冠层图像，建立植株三维点云模型[20]，视角数量过多直接影响了植株重建与测量效率。在植物生理诊断方面，主要以多波段二维光谱图像特征构建生理诊断模型，由于二维图像仅为单个视角下成像特征，无法反映植物全部特征，并且无法反映具体生理特征分布与空间位置。在高通量植物表型测量需求下，研究一种三维点云与光谱信息深度融合的多模态三维重建方法，解决不同测量位姿、多视角下温室植物多模态三维点云模型高速重建问题，对高通量植物表型测量技术的发展具有重要的意义。
本研究将结合深度视觉技术和多光谱成像技术，以温室番茄植株为研究对象，在同一成像室，同步采集每个植株4个视角RGB-D图像和多光谱图像，基于相位相关原理将植株多光谱反射率配准至深度坐标；根据Kinect传感器测量位姿自主标定，实现多视角点云坐标系统一变换，实现多视角点云粗配准，最后采用迭代最近点（iterative closest point，ICP）算法实现多视角点云精配准，从而实现植株多模态三维重建，使得三维点云每个空间坐标具有RGB信息和多光谱反射率信息，为植物表型高通量测量提供良好的技术支撑。
1 材料与方法
1.1 测量系统结构与原理
基于相位相关的温室番茄植株多模态三维重建系统，主要由成像室、LED光源、SOC710高光谱成像仪、Kinect传感器、电动旋台、控制器和图形工作站等组成，如图1a所示。
1.SOC710高光谱成像仪 2.Kinect传感器 3.三脚架 4.番茄植株 5.电动旋台
成像室采用铝型材构建，内侧尺寸长为180 cm、宽120 cm、高160 cm，内部侧面和底面为白色哑光贴膜。LED光源由两个6 400 K、70 W 的Philips光源组成。SOC710高光谱成像仪为内置推扫方式，光谱范围为400～1 000 nm，波段数为128，图像分辨率为696 pixel×510 pixel，可设定采集波段。Kinect传感器为2.0版本，由Color Camera和Depth Sensor等组成，彩色RGB图像分辨率为1 920 pixel × 1 080 pixel，深度图像分辨率为512 pixel × 424 pixel，帧率为30 帧/s，测量距离范围为0.80～4.00 m。电动旋台长度为31.4 cm，宽度为21.4 cm，高度为6 cm，旋台圆盘直径为20 cm，角度范围为360 °，传动比180:1，驱动机构为涡轮和蜗杆机构，驱动电机为57BYG步进电机，旋台分辨率0.000 5°，定位精度0.01°。控制器为HW-36MT-3PG可编程控制器，36路I/0输入输出，其中输入20路，输出16路，内置3路最高100 KHz PG带加减速高速脉冲输出，通信接口：RS232C。图形工作站处理器为Intel(R) Xeon(R) E-2176M CPU @2.70 GHz，内存容量为32G，NVIDIA Quadro P600 4G显卡。系统控制软件环境是Visual Studio 2015和Matlab 2017a混合编程。
如图1b所示，为SOC710高光谱成像仪采集的光谱图像（466.93 nm为例），如图1c所示，为Kinect传感器采集的RGB图像，如图1d所示，为Kinect传感器采集的深度图像，深度图像每个像素的深度值参见颜色栏。
如图2所示，温室番茄植株多模态三维重建系统工作原理：第一步，初始化系统参数：主要包括SOC710高光谱成像仪特征波段选定、Kinect传感器内部参数主点坐标（x，y）和焦距（x，y）、Kinect传感器采集范围（距离限制）、植株ROI区域行和宽的范围（计算区域限制）、植株三维重建的视角数量N。第二步，Kinect位姿自主标定：采集2个视角的电动旋台表面RGB-D图像，根据颜色阈值识别出各个视角下旋台表面的黄色和红色标定贴点云坐标，计算标定贴重心，并根据重心计算旋台旋转轴中心坐标和法向量。第三步，多视角番茄植株RGB-D图像和多光谱图像采集：根据视角数量，逐次采集各个视角的植株RGB-D图像和多光谱图像，每个视角采集后，电动旋台旋转360°/N。第四步，相位相关法光谱反射率配准：基于相位相关原理，将SOC710成像仪采集的光谱图像与Kinect传感器采集的RGB图像进行配准，计算出变换参数，多个通道的光谱反射率采用相同的变换参数，将光谱反射率映射至相应的深度坐标，形成三维数组，包含深度图和多个波段的光谱反射率图像。第五步，植株多模态三维重建：根据Kinect传感器内部参数，将各个视角RGB-D图像转换为三维点云；根据Kinect传感器距离范围和植株感兴趣区域（region of interest，ROI）行宽范围（ROI区域指去除其他背景区域的植株冠层区域），对三维点云进行包围盒预处理和离群点去除预处理；根据旋台旋转轴中心坐标，对各个视角点云进行位移变换，将旋台旋转轴中心点移至Kinect坐标系原点（0，0，0），根据旋台旋转轴法向量，将各视角点云进行旋转变换，实现多视角点云坐标系统一，然后对各视角点云逐次进行ICP配准，最后对三维点云进行降采样，完成植株三维重建。由于每个空间坐标点包含了RGB值和各个波段的反射率值，所以在实现三维点云模型重建时，即实现了多模态三维点云模型重建。
1.2 相位相关法多模态图像配准
SOC710高光谱成像仪采集多光谱灰度图像和反射率图像，而Kinect传感器采集RGB图像和深度图像，要实现番茄植株多模态三维重建，需要将植株的多光谱反射率对齐至深度坐标，即每个三维空间坐标包含RGB值和多光谱反射率。SOC710图像和Kinect图像之间主要存在位移、旋转角度和缩放倍数变换问题。本研究采用相位相关原理，将多光谱反射率配准至深度坐标。
图2 温室番茄植株多模态三维重建流程图
相位相关法是基于傅里叶变换原理[21-22]，根据图像的傅里叶频谱（包含了模和相位信息，模包含图像的灰度级信息，相位信息包含图像的变化信息），计算图像间的平移量、旋转矩阵和缩放系数[23-24]。设Kinect传感器图像(，)和SOC710多光谱图像(，)间的平移为(0，0)，即(，)=(−0，−0)，频域关系如式（1）所示，2图像的互功率谱如式（2）所示，互功率谱的相位信息包含两图像的相位差，通过互功率谱的傅里叶反变换，求得二维冲击函数(−0，−0)，此函数在(0，0)处取得峰值，其余位置值接近为0，通过寻找峰值确定平移参数。
同时，SOC710成像仪和Kinect传感器间存在旋转和缩放关系，本研究通过傅里叶梅林变换把笛卡尔坐标系中的旋转缩放关系转换为对数极坐标下的平移关系。设(，)是由图像(，)旋转0，以及缩放系数为求得，根据傅里叶旋转不变性和相似性，图像存在旋转关系式，如式（3）所示，其频域旋转关系式，如式（4）所示，把频域坐标映射到对数极坐标空间，如式（5）所示，把旋转和缩放变换表示成平移关系，可求得旋转角0和缩放系数。
本研究首先根据相位相关法确定旋转角0和缩放系数，然后变换图像再采用相位相关法找到平移量(0，0)。各个波段光谱反射率图像采用相同的变换参数，保持光谱反射率映射一致性。相位相关法光谱配准后，将植株RGB图像、深度图像以及配准后的多波段反射率图像保存至三维数组中，为后续植株多模态三维重建奠定基础。
1.3 多视角RGB-D图像三维重建
本研究Kinect传感器采集多视角单轴旋转的番茄植株RGB-D图像，建立多视角RGB-D图像的自主配准方法，解决多视角RGB-D图像快速粗配准问题，并结合迭代最近点算法ICP进行多视角点云的精配准，实现植株三维点云高速重建，满足植株表型周期性高通量测量需求，简化植株多模态三维重建的多视角点云模型配准流程。
如图3a所示，为电动旋台，旋台上表面圆盘为蓝色，表面贴有两块圆形标定贴，分别为黄色标定贴和红色标定贴，直径分别为5 cm和5 cm。Kinect测量位姿自主标定流程：采集旋台RGB-D图像，将RGB-D图转换为三维点云（包围盒分割出旋台区域），根据点云颜色阈值识别出黄色和红色标定贴区域点云坐标，计算标定贴点云坐标的中心坐标，如图3b所示为0 °旋台表面标定贴识别结果，标定贴中心坐标分别为1和1，如图3c所示为180°旋台表面标定贴识别结果，标定贴中心坐标分别为2和2；根据两幅RGB-D图像标定贴中心坐标，计算旋台旋转轴的中心坐标为；如图3d所示，根据两幅RGB-D图像的标定贴中心坐标和旋转轴中心坐标（0，0，0），计算旋台旋转轴的法向量，进行归一化处理得到旋转轴法向量为（，，）。
多视角RGB-D图像的配准方法：第一步，根据Kinect传感器内部参数，将各个视角RGB-D图像转换为三维点云图。第二步，采用包围盒法，将各个视角点云的ROI分割出来，以减少后期点云配准计算量。第三步，为多视角点云坐标系统一，将各个视角点云PC进行平移（0，0，0），将旋转轴中心平移至Kinect坐标系原点（0，0，0），然后将各个视角点云PC进行旋转操作，旋转轴法向量旋转至轴，如式（6）所示，最后根据各个视角实际旋台角度，确定绕轴逆旋转角度°，求得逆旋转矩阵，如式（9）所示，各视角点云旋转操作PC′×，求得坐标系统一的点云PC″，其中初始角度点云1为参考点云，不需要进行轴逆旋转操作。第四步，为各视角点云PC″逐次进行ICP配准，即第一视角与相邻的第二视角ICP精配准，然后配准结果与相邻的第三视角ICP精配准[25]，依次将所有视角点云进行精配准操作，得到植株三维点云模型。
注：Y1和R1分别为0°视角下黄色标定贴和红色标定贴的中心坐标，Y2和R2分别为180°视角下黄色标定贴和红色标定贴的中心坐标，M为旋转轴中心坐标，X，Y和Z分别为X，Y和Z轴向量，P为旋转轴法向量，Rx*Rz为旋转轴变换矩阵。
式中PC为第个视角点云，PC′为第个视角点云旋转轴变换至轴后的点云；为旋转轴在旋台表面的中心坐标；为绕轴旋转矩阵；为绕轴旋转矩阵；为绕轴旋转矩阵；为各个视角点云相对于参考视角的旋转角度；在本研究中以第一个采集视角为参考视角；（，，）为旋台旋转轴归一化法向量。
根据1.2相位相关法得到配准后的番茄植株多模态信息三维数组，在番茄植株三维点云重建过程，点云坐标位移或旋转等操作时，同时保存相应位置的RGB信息和多波段光谱反射率信息，所以在植株三维点云模型重建完成时，各个空间坐标具有对应的RGB值和各个波段的光谱反射率值。
1.4 试验过程与评价指标
为验证提出的多模态三维点云重建方法，选定番茄为测量对像，品种为粉冠一号，测量植株数量为30株。图像采集方式：每个测量对象，Kinect传感器采集4个视角RGB-D图像，视角间隔为90°，4个视角（angle of view，AOV）分别用AOV1、AOV2、AOV3和AOV4表示；SOC710成像仪与Kinect传感器同步采集4个视角的多光谱图像，波段分别为466.93、564.91、696.32、722.94 nm（以番茄植株氮含量敏感特征波段为例）[6-7]。同时，采用Occipital公司的Structure sensor 3D扫描仪，人工扫描番茄植株三维点云。
通过上述相位相关法将SOC710多光谱图像配准至Kinect深度图像区域，本研究采用归一化灰度相似系数、配准区域光谱重叠率、Kinect传感器RGB图像与SOC710成像仪RGB图像的互信息值MI 3个参数[26]，客观评价多模态图像配准质量，计算公式如式（10～15）。本研究以扫描点云为依据，对重建三维点云特征点对齐预处理，根据Hausdorff距离集HD[27]，定量评价多光谱三维点云重建精度，如式（16），统计HD分布比例，并统计HD平均值HDavg、标准偏差HDstd和最大值HDmax三个参数，定量客观评价三维点云重建精度。
式中为Kinect ROI配准区域图像；为SOC710配准后图像；(，)为图像坐标；为归一化灰度相似系数；为配准区域图像行数；为配准区域图像列数；为ROI区域光谱重叠率，%；2为Kinect的ROI区域二值图像；2为SOC710配准后二值图像；MI为图像与MR的互信息值；()为图像的信息熵；(MR)为图像MR的信息熵；(，MR)为图像和MR的联合信息熵；p()为图像在灰度级为时的概率；MR()为图像在灰度级为时的概率；FMR(，)为图像和MR在灰度级为和时的联合概率；HD为重建点云与扫描点云最小距离集；RP为重建点集；MP为扫描点集；p为RP中的点；b为MP中的点。
2 结果与分析
2.1 相位相关法光谱反射率配准与质量评价
本研究根据相位相关法将多光谱反射率图像配准至Kinect深度图像坐标系，然后根据深度范围筛选出番茄植株ROI区域（置空背景区域信息）。如图4a和4b所示，分别为Kinect传感器采集的植株ROI区域的灰度图像和深度图像（灰度值和深度值，如图颜色栏所示，深度单位为mm）；如图4c和4d所示，分别为SOC710高光谱成像仪采集的466.93 nm的反射率图像和相位相关配准后的反射率图像，每个波段反射率图像均采用相同相位相关变换参数，保持每个深度坐标的多光谱反射率对应；如图4e、4f、4g和4h所示，分别为采用深度坐标范围筛选出植株ROI区域的466.93、564.91、696.32、722.94 nm的光谱反射率图像（植株冠层ROI区域光谱反射率数值大小，如图颜色栏所示）。相位相关配准后，深度图像每个坐标具有RGB颜色信息和多波段光谱反射率信息。如图4i所示，为配准后的植株ROI区域多光谱灰度图像与Kinect灰度图像的差值图像，并进行归一化处理（归一化灰度差异大小，如图颜色栏所示，数值越大代表灰度差异越大）。如图4j所示，为配准后的植株ROI区域多光谱灰度图像与Kinect灰度图像的二值交集图像，采用黄色标记出光谱反射率图像与Kinect灰度图像重叠区域，粉色标记出未重叠区域。
图4 相位相关法光谱反射率配准结果
根据公式（10～15），计算Kinect传感器和SOC710成像仪配准后图像间的归一化灰度相似系数、配准区域光谱重叠率、互信息值MI。
如图5所示，为30株番茄的归一化灰度相似系数。配准质量评价参数主要评价配准后的图像和Kinect图像的灰度相似性，的范围为0.853 7～0.946 5，的平均值为0.908 5，表明配准后的图像与Kinect图像的灰度值非常相似，配准后颜色对应关系良好。因为多波段反射率图像采用相同的变换参数，所以可以用评价反射率配准质量。本研究中产生灰度差异的原因主要是由SOC710传感器与Kinect传感器采集的图像区域存在差异产生，如图4所示，Kinect图像区域大于SOC710成像区域导致。由于我们主要关注植株冠层区域的反射率值，所以将大于SOC710成像区域的ROI区域反射率值置空。同时，在植株冠层叶面边缘区域的灰度差异明显，主要是由于SOC710配准后图像产生的形变导致。
如图6所示，为30株番茄的ROI区域光谱重叠率。配准质量评价参数主要评价植株ROI区域的光谱覆盖比例，的范围为0.865 3～0.953 7，的平均值为0.920 6。ROI区域的植株冠层叶面全面覆盖多光谱信息，同样受到2个传感器成像区域差异的影响，栽培盘下部没有光谱反射率信息，这个问题可以根据实际需要调整传感器成像区域解决。
注：AOV1、AOV2、AOV3和AOV4分别为视角0°、90°、180°和270°，下同。
图6 ROI区域光谱重叠率
如图7所示，为SOC710高光谱仪采集的灰度图像与Kinect传感器采集的灰度图像间的互信息值，配准前和配准后图像间互信息值分别为MI_1和MI_2（植株4个视角的MI均值）。配准质量评价参数MI主要评价图像相似度，统计数据表明：配准前MI值范围为1.071 3～1.143 3，均值为1.097 2；配准后MI值范围为1.165 2～1.236 9，均值为1.204 8，配准后MI值平均提升了9.81%，表明配准后图像间相似度得到提高。
注：MI_1为配准前图像间的互信息值，MI_2配准后图像间的互信息值。
根据配准质量评价参数、和MI，相位相关法能够将多波段光谱反射率配准至Kinect深度坐标中。由于Kinect传感器受植株高度和宽幅影响，需要调整合适的测量距离，以保证足够的测量精度，所以在确定Kinect传感器测量位姿的基础上，SOC710成像仪需要选择合适的镜头参数，以满足成像视角和距离的要求，保证两套成像系统的测量区域合适，才能提高图像配准质量。
2.2 番茄植株多模态三维点云重建与精度分析
通过相位相关法，得到各个视角下番茄植株的深度图像、RGB图像和配准后的多波段光谱反射率图像。根据1.3多视角RGB-D图像三维重建方法，将深度图像变换为三维点云图，并进行包围盒选定ROI测量区域的三维点云，如图8a、8b、8c和8d分别为AOV1、AOV2、AOV3和AOV4的三维点云图，如图8e为4个视角配准后的三维点云图。在配准过程中，同时记录每个三维点云坐标的RGB值和多波段光谱反射率值，所以在多视角RGB-D三维点云重建完成时，得到RGB三维点云图，如图8f所示，以及各个波段的光谱反射率三维点云图，如图8g、8h、8i和8j分别为466.93、564.91、696.32和722.94 nm的光谱反射率三维点云图。在本研究中未覆盖到光谱反射值的三维坐标中反射率值采取置空处理，如图8g～8j所示，栽培盘体部分区域没有反射值，但是植株冠层区域的点云坐标均具有光谱反射率值，植株冠层点云的光谱反射率的数值大小，如图颜色栏所示。
图8 植株三维点云模型重建
为了验证本研究提出的多视角RGB-D三维点云重建方法，采用豪斯多夫距离集客观评价三维点云重建精度[26]。如图9所示，分5段统计距离集HD分布比例，分别为0 cm
同时，统计距离集HD性能参数：平均值HDavg、标准偏差HDstd和最大值HDmax。如图10所示，HDavg范围为0.23～0.59 cm，HDavg均值为0.37 cm；HDstd范围为0.27～0.65 cm，HDstd均值为0.43 cm；HDmax范围为2.75～5.90 cm，HDmax均值为4.15 cm。HDavg反映了重建点云整体的偏差距离，HDstd反映了重建点云偏差的离散程度，HDmax反映了重建点云的最大偏差距离，结果表明30株重建点云的HDavg均值为0.37 cm，表明重建的番茄三维点云精度比较高，提出的多视角三维点云重建方法，能够应用于番茄植株三维点云重建，但是仍然存在少量的噪点，主要由于植株为非刚性测量对象，在多视角重建时，植株茎秆和叶面的轻微摇晃将影响RGB-D数据的准确性，对成像系统的数据采集控制要求非常高。
图9 距离集HD分布比例
注：HDavg、HDstd和HDmax分别为HD距离集的平均值、标准偏差和最大值。
本研究提出的植株多模态三维重建方法，能够适用于番茄植株多模态三维点云重建，但是不适用于非常细小植物三维重建（比如植物苗期）和茎秆非常柔软的植物，因为受到Kinect传感器的精度限制，无法刻画非常细小的植物茎秆，并且柔软的植株茎秆在单轴旋转时引起晃动，将无法实现三维精确配准。当然，可以采用多视角同步采集方式，解决茎秆和叶面的晃动引起的重建问题，但是将极大的增加测量系统成本。
3 结 论
本研究采用相位相关原理实现二维多模态信息配准，并建立多视角RGB-D图像三维重建方法，实现番茄植株多模态三维重建，主要结论如下：
1）基于相位相关法将SOC710多光谱成像仪捕获的多光谱反射率图配准至Kinect传感器捕获的RGB-D图像坐标系中，采用配准区域光谱重叠率、归一化灰度相似系数、互信息值MI三个指标评价配准质量，结果表明：和的平均值分别为0.9206和0.9085，配准后MI值平均提升了9.81 %，植株冠层多光谱反射率能够准确配准至深度坐标。
2）提出了一种基于Kinect测量位姿自主标定的多视角RGB-D图像三维重建方法，主要解决传感器在不同测量位姿下多视角RGB-D图像快速粗配准问题，采用豪斯多夫距离客观评价三维点云重建精度，结果表明：重建点云与扫描点云的距离集HD小于0.6 cm的比例为78.39%，小于1.0 cm的比例为91.13%，30株番茄距离集均值HDavg的均值为0.37 cm，表明重建的番茄三维点云精度比较高，适用于温室番茄植株三维重建。
3）提出的基于相位相关法的温室植株多模态维重建方法，集成了传统植株三维几何形态测量系统和植株生理信息诊断系统，能够在同一成像室完成植株外在形态和内在生理信息诊断，为高通量植株表型测量提供精准高效的测量方法，但在本研究中暂未讨论植物形态信息和生理指标的提取方法，后续研究将会着重解决该问题，构建植株表型提取方法，为该项技术推广应用提供便利。本研究提出的温室番茄植株多模态三维重建系统，成本低、易于实现与推广，具有良好的应用前景。
[1] 何勇，彭继宇，刘飞，等. 基于光谱和成像技术的作物养分生理信息快速检测研究进展[J]. 农业工程学报，2015，31(3)：174－189.
He Yong, Peng Jiyu, Liu Fei, et al. Critical review of fast detection of crop nutrient and physiological information with spectral and imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 174－189. (in Chinese with English abstract)
[2] 何勇，赵春江，吴迪，等. 作物-环境信息的快速获取技术与传感器仪器[J]. 中国科学：信息科学，2010，40(增刊)：1－20.
He Yong, Zhao Chunjiang, Wu Di, et al. Fast detection technique and sensor instruments for crop-environment information: A review[J]. Scientia Sinica: Informationis, 2010, 40(Supp.):1－20. (in Chinese with English abstract)
[3] 刘刚，司永胜，冯娟. 农林作物三维重建方法研究进展[J]. 农业机械学报，2014，45(6)：38－46，19.
Liu Gang, Si Yongsheng, Feng Juan. 3D reconstruction of agriculture and forestry crops[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(6): 38－46, 19. (in Chinese with English abstract)
[4] 周济，Tardieu F，Pridmore T，等. 植物表型组学：发展、现状与挑战[J]. 南京农业大学学报，2018，41(4)：580－588.
Zhou Ji, Tardieu F，Pridmore T, et al. Plant phenomics: history，present status and challenges[J]. Journal of Nanjing Agricultural University, 2018, 41(4): 580－588. (in Chinese with English abstract)
[5] 潘映红. 论植物表型组和植物表型组学的概念与范畴[J]. 作物学报，2015，41(2)：175－186.
Pan Yinghong.Analysis of concepts and categories of plant phenome and phenomics[J]. Acta Agronomica Sinica, 2015, 41(2): 175－186. (in Chinese with English abstract)
[6] 刘红玉，毛罕平，朱文静，等. 基于高光谱的番茄氮磷钾营养水平快速诊断[J]. 农业工程学报，2015，31(增刊1)：212－220.
Liu Hongyu, Mao Hanping, Zhu Wenjing, et al. Rapid diagnosis of tomato N-P-K nutrition level based on hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.1): 212－220. (in Chinese with English abstract)
[7] 朱文静，毛罕平，李青林，等. 偏振-高光谱多维光信息的番茄叶片营养诊断[J]. 光谱学与光谱分析，2014，34(9)：2500－2505.
Zhu Wenjing, Mao Hanping, Li Qinglin, et al. Study on the polarized reflectance-hyperspectral information fusion technology of tomato leaves nutrient diagnoses[J]. Spectroscopy and Spectral Analysis, 2014, 34(9): 2500－2505. (in Chinese with English abstract)
[8] 孙红，郑涛，刘宁，等. 高光谱图像检测马铃薯植株叶绿素含量垂直分布[J]. 农业工程学报，2018，34(1)：149－156.
Sun Hong, Zheng Tao, Liu Ning, et al. Vertical distribution of chlorophyll in potato plants based on hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(1): 149－156. (in Chinese with English abstract)
[9] 丁少闻，张小虎，于起峰，等. 非接触式三维重建测量方法综述[J]. 激光与光电子学进展，2017，54(7)：070003.
Ding Shaowen, Zhang Xiaohu, Yu Qifeng, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics progress, 2017, 54(7): 070003. (in Chinese with English abstract)
[10] 程曼，蔡振江，Ning Wang，等. 基于地面激光雷达的田间花生冠层高度测量系统研制[J]. 农业工程学报，2019，35(1)：180－187.
Cheng Man, Cai Zhenjiang, Ning Wang, et al. System design for peanut canopy height information acquisition based on LiDAR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 180－187. (in Chinese with English abstract)
[11] 郭庆华，吴芳芳，庞树鑫，等. Crop 3D—基于激光雷达技术的作物高通量三维表型测量平台[J]. 中国科学：生命科学，2016，46(10)：1210－1221.
Guo Qinghua, Wu Fangfang, Pang Shuxin, et al. Crop 3D: a platform based on LiDAR for 3D high-throughput crop phenotyping[J]. Scientia Sinica Vitae, 2016, 46(10): 1210－1221. (in Chinese with English abstract)
[12] 刘刚，张雪，宗泽，等. 基于深度信息的草莓三维重建技术[J]. 农业机械学报，2017，48(4)：160－165，172.
Liu Gang, Zhang Xue, Zong Ze, et al. 3D reconstruction of strawberry based on depth information[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 160－165, 172. (in Chinese with English abstract)
[13] Li J, Tang L. Developing a low-cost 3D plant morphological traits characterization system[J]. Computers and Electronics in Agriculture, 2017, 143(12): 1－13.
[14] 张瑜，汪小旵，孙国祥，等. 基于激光视觉的温室作物茎叶量测方法[J]. 农业机械学报，2014，45(9)：254－259.
Zhang Yu, Wang Xiaochan, Sun Guoxiang, et al. Leaves and stems measurement of plants based on laser vision in greenhouses[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 254－259. (in Chinese with English abstract)
[15] 孙国祥，汪小旵，闫婷婷，等. 基于机器视觉的植物群体生长参数反演方法[J]. 农业工程学报，2014，30(20)：187－195.
Sun Guoxiang, Wang Xiaochan, Yan Tingting, et al. Inversion method of flora growth parameters based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(20): 187－195. (in Chinese with English abstract)
[16] 王传宇，郭新宇，吴升，等. 基于计算机视觉的玉米果穗三维重建方法[J]. 农业机械学报，2014，45(9)：274－279.
Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)
[17] Sylvain Jay, Gilles Rabatel, Xavier Hadoux, et al. In-field crop row phenotyping from 3D modeling performed using structure from motion[J]. Computers and Electronics in Agriculture, 2015, 110(1): 70－77.
[18] Han Tsunghan, Kuo Yanfu. Developing a system for three-dimensional quantification of root traits of rice seedlings[J]. Computers and Electronics in Agriculture, 2018, 152(9): 90－100.
[19] Kenta I, Itchoku K, Fumiki H. Three-dimensional monitoring of plant structural parameters and chlorophyll distribution[J]. Sensors, 2019, 19(2): 413.
[20] Zhang Jian, Li Yong, Xie Jing, et al. Research on optimal near-infrared band selection of chlorophyll (SPAD)3D distribution about rice plant[J]. Spectroscopy and Spectral Analysis, 2017, 37(12): 3749－3757.
[21] 刘晨，刘后标，贾可，等. 基于相位相关法的实时模板定位方法[J]. 计算机应用，2015，35(S1)：252－254.
Liu Chen, Liu Houbiao, Jia Ke, et al. Real-time and robust pattern localization for phase correlation[J]. Journal of Computer Applications, 2015, 35(S1): 252－254. (in Chinese with English abstract)
[22] Henke M, Junker A, Neumann K, et al. Automated alignment of multi-modal plant images using integrative phase correlation approach[J]. Frontiers in Plant Science, 2018, 9(10):1519.
[23] 刘波，朱伟兴，纪滨，等. 基于射线轮廓点匹配的生猪红外与可见光图像自动配准[J]. 农业工程学报，2013，29(2)：153－160.
Liu Bo, Zhu Weixing, Ji Bin, et al. Automatic registration of IR and optical pig images based on contour match of radial line feature points[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 153－160. (in Chinese with English abstract)
[24] 冯娟，刘刚，王圣伟，等. 采摘机器人果实识别的多源图像配准[J]. 农业机械学报，2013，44(3)：197－203.
Feng Juan, Liu Gang, Wang Shengwei, et al. Multi-source images registration for harvesting robot to recognize fruits[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(3): 197－203. (in Chinese with English abstract)
[25] Mai Chunyan, Zheng Lihua, Li Minzan. Rapid 3D reconstruction of fruit tree based on point cloud registration[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(Supp.2): 137－144.
[26] 蒋煜. 基于特征的多模态图像自动配准算法研究[D]. 武汉：华中科技大学，2005.
Jiang Yu. Research on Feature-based Multimodal Automatic Image Registration[D]. Wuhan: Huazhong University of Science and Technology, 2005. (in Chinese with English abstract)
[27] 胡鹏程，郭焱，李保国，等. 基于多视角立体视觉的植株三维重建与精度评估[J]. 农业工程学报，2015，31(11)：209－214.
Hu Pengcheng, Guo Yan, Li Baoguo, et al. Three-dimensional reconstruction and its precision evaluation of plant architecture based on multiple view stereo method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 209－214. (in Chinese with English abstract)
Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method
Sun Guoxiang1,2, Wang Xiaochan1,2, Liu Jingna1, Sun Ye1, Ding Yongqian1,2, Lu Wei1,2
(1.,,210031,; 2.,210031,)
In order to realize plant morphological measurement and physiological diagnosis, a multi-modal three-dimensional (3D) reconstruction method was proposed. This reconstruction method further laid the foundation for plant phenotypic measurement. Due to the complexity of 3D geometric morphologies, only two or two-and-a-half-dimensional images of greenhouse plants can be captured at a single angle of view (AOV) by the imaging sensors. However, 3D point cloud reconstruction of plants requires images captured at multiple AOVs. In addition, the 3D geometric morphologies of plants undergo significant changes during the full-growth-cycle and to acquire suitable 3D plant images, it is necessary to frequently adjust the sensor position. Therefore, sensor position and AOV directly affect the plant phenotyping efficiency. Developing an efficient and accurate multi-view 3D point cloud reconstruction method that meets the need for full-growth-cycle, high-throughput 3D reconstruction and phenotyping of greenhouse plants is therefore pivotal to the development of high-throughput plant phenotyping techniques. So a multi-modal three-dimensional reconstruction method of greenhouse tomato plants under different measurement positions and angles was proposed, and to solve the problem of multi-spectral reflectance mapping and multi-view point cloud 3D reconstruction, multi-spectral reflectance images were registered to RGB-D image coordinate system by phase-correlation method, and a multi-view RGB-D image 3D reconstruction method based on self-calibration of the Kinect sensor was established which realized the reconstruction of RGB 3D point cloud model and multi-spectral reflectance3D point cloud model of the plants. The two-dimensional multi-spectral image registration quality was evaluated objectively by the normalizing gray-scale similarity coefficient, the spectral overlap rate in the region of interest (ROI), and the mutual information valueand the Hausdorff distance HD was applied to objectively evaluate the reconstruction accuracy of the three-dimensional point cloud reconstruction of the plant. In total, 30 greenhouse tomato plants were used in this study with each plant reconstructed from four angles of view at angle intervals of 90 degrees. The obtained results showed that the average values ofandwere 0.920 6 and 0.908 5, respectively. After registration, the mutual information value increased by 9.81 % and the canopy multi-spectral images could be registered accurately to the depth coordinate system. The ratio of the HD distance set of reconstruction point cloud less than 0.6 cm was 78.39 %, the ratio of less than 1.0 cm was 91.13%, and the mean value of the tomato distance ensemble HDavgwas 0.37 cm, depicting that the tomato plant 3D point cloud model had high reconstruction accuracy and could be applied to multi-modal 3D reconstruction of greenhouse tomato plants. This research integrated the traditional 3D geometric morphology measurement system and plant physiological information diagnosis system, and as such the external morphology and internal physiological information of the plants could be measured in the same imaging room. It provides a precise and efficient measurement method for high-throughput plant phenotypic measurement, and is of great significance to the development of modern intelligent facility horticultural management and plant phenomics.
image reconstruction; three dimensional; stereo vision; phase correlation; multi-modal; multi-spectral; three-dimensional reconstruction; greenhouse tomato; plant phenotypic
孙国祥，汪小旵，刘景娜，孙 晔，丁永前，卢 伟. 基于相位相关的温室番茄植株多模态三维重建方法[J]. 农业工程学报，2019，35(18)：134－142.doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org
Sun Guoxiang, Wang Xiaochan, Liu Jingna, Sun Ye, Ding Yongqian, Lu Wei. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134－142. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.18.017 http://www.tcsae.org
2019-04-02
2019-08-17
江苏省自然科学基金资助项目(BK20170727)；中央高校基本科研业务费专项资金资助（KYGX201703）；江苏省自然科学基金资助项目（BK20181315）
孙国祥，副教授，博士，主要从事高通量植物表型测量研究。Email：sguoxiang@njau. edu.cn
10.11975/j.issn.1002-6819.2019.18.017
TP391.4
A
1002-6819(2019)-18-0134-09
