樊景超++丘耘++周国民

doi：10.15889/j.issn.1002-1302.2016.10.110

摘要：围绕苹果树每10°～20°采集1幅图像形成苹果树的序列图像。首先匹配图像特征点构建稀疏点云，再利用多视点视觉技术（patch-based multi-view stereo，简称PMVS）构建果树的稠密点云。对苹果树不同物候期的三维点云获取结果表明，叶片的方向各异性以及稠密度对苹果树的重建效果有重要影响，可为植物建模、虚拟修剪试验和植物拓扑结构分析等提供参考。

关键词：序列图像；苹果树；模型；三维点云

中图分类号： S126文献标志码： A文章编号：1002-1302（2016）10-0375-04

收稿日期：2015-08-20

基金项目：国家“863”计划（编号：2013AA102405）；中国农业科学院创新工程（编号：CAAS-ASTIP-2015-AII-03）。

作者简介：樊景超（1980—），男，辽宁沈阳人，博士，助理研究员，从事农业信息技术的科研工作。E-mail：fanjingchao@caas.cn。

通信作者：周国民，博士，研究员，博士生导师，从事农业信息技术的科研工作。E-mail：zhouguomin@caas.cn。我国是水果大国，总产量居世界首位[1]。但是，我国出口水果情况不容乐观，主要存在3个方面的问题[2-4]：（1）占比低，我国水果出口量仅占世界总出口量的3%，远低于其他主要水果生产国10%的比例；（2）结构单一，我国水果出口品种，主要集中在苹果、梨、柑橘以及其他坚果；（3）价格低，我国出口水果价格仅为国际市场平均价格的一半。导致果农增产不增收的本质原因是果业生产管理过程中的重栽轻管、广种薄收、重数量轻质量，优质果只占总量的30%[5]。如何提高我国水果的产量与品质已成为我国水果产业中亟待解决的核心问题。随着现代信息技术的快速发展，信息技术用于果园管理已取得了较大的进展，并呈现出数字化、智能化、机械化、集成化的发展趋势[6]。果树的树体结构对树木的生长和产量具有重要的影响，如枝条数量、枝条长度和枝条空间分布[7]。这些因素影响树体光截获，进而影响果树产量和果实质量。在果树栽培和生产实践中，通过对果树冠层三维结构的研究，可为合理的果树整形提供量化依据[8]。

与株型简单的小麦、玉米等一年生作物不同，苹果果树生长期较长、形态（叶型、枝型、株型）时空变异性强、植株形体高大，使得此方面的研究进展相对较为缓慢[9]。三维点云模型具有丰富的信息表现力，不但包含植物器官的三维坐标信息，还可以包含RGB颜色以及法线等信息。三维激光扫描设备精度高，能够完整地重构模型，但是这些设备在果园等野外条件下不便使用，而且价格昂贵。这些都使得该项技术的应用范围受到限制。基于序列图像的三维重建方法近年来日趋成熟，获得三维点云模型精度逐步提高。该方法只需要使用普通摄像机即可，相对成本低，具有很广阔的研究前景。本研究尝试使用该方法获取苹果树在不同物候期的三维点云模型。

1材料与方法

本研究选用的果树来自北京市顺义区双河果园，该园位于京郊顺义城区（40° 8′N、116° 43′E），海拔32 m，占地面积66.7 hm2，属大陆性季风气候区，年均温度11.3 ℃，冬季平均气温-1.7 ℃，年均降水量620 mm左右，冬季平均相对湿度为45%，冬季日照时间为517 h[10]。所选苹果树枝条空间分布均匀，叶片没有明显遮挡。所选果树与相邻果树无枝条邻接现象，且行距与间距满足相机拍摄要求，以单幅照片能包含整株果树的树冠为准。

本研究使用的数码相机型号为Canon EOS 700D（18～55 mm），拍摄时的镜头焦距固定为5 mm，采用自动曝光模式，图像分辨率 5 284×3 456像素。从4月初开始每周选取无风或微风天气，以果树为中心，围绕果树每转10°～20°拍1张，确保形成连续的果树图像序列。考虑到果树枝条在空间方向各异，围绕果树在不同高度进行多次拍摄更好。图1-a为本试验在果园中选取的处于萌芽期的苹果树，图1-b是使用本方法采集的苹果树多幅序列图像。基于序列图像进行三维点云重建的核心是匹配图片之间的特征点，因此在拍摄照片时尽量保证同一枝条能从2个以上的角度进行拍摄。

2三维点云模型的获取

基于序列图像提取物体的三维坐标，核心思想是根据图像中点位置信息，恢复出点在三维场景中的三维坐标。果树三维点云获取有2个基本阶段：第1阶段从所有图像上提取特征点，通过特征点匹配、重建，得到种子点形成稀疏点云；第2阶段将种子点向周围扩散得到稠密的空间点云[11]。完成上述步骤后经过简单的背景切除得到果树自身的三维点云。

2.1构建稀疏点云

构建稀疏点云的难点在于从无序图像中查找匹配点，但是如果对每个像素点都在其他无序图像中进行匹配查找，计算量会非常大，同时图像中会包含很多噪声点，对于匹配点的查找会起到干扰作用。通过检测多幅未标定图像中的特征点集合和匹配信息，利用不同图像之间几何初始化投影来映射结构，再利用自标定方法免去相机的自我标定过程。其结合尺度不变特征转换[12-14]（scale invariant feature transform，简称SIFT）算法检测到特征点集和匹配信息，并利用由Lourakis等研究的稀疏捆集调整（sparse bundle adjustment，简称SBA）开发包[15]进行优化处理以获取更为精确的三维点云数据。但是SBA算法仍存在运行效率上的不足，因此本研究参照Wu等提出基于多核中央处理器（central processing unit，简称CPU）、图形处理器（graphics prccessing unit，简称GPU）改进的并行捆集调整（parallel bundle adjustment，简称PBA）算法[16]提高运行的速度。

图2显示的是使用多幅果树图像重建的三维稀疏点云模型，同时根据计算得到的相机参数以及场景的相关信息将序列图像显示出来。

2.2重构稠密点云

将之前获得的果树稀疏点云数据及相机参数，输入至Furukawa等开发的基于多视点视觉技术（patch-based multi-view stereo，简称PMVS）的三维重建算法[17-20]，通过重复面片扩展和误差滤波步骤，获取果树三维秘密点云。PMVS的目标是得到场景中物体表面的描述，并使得此描述信息尽量丰富。使用SIFT算法检测出的特征点，通过归一化互相关函数确定匹配点对，得到重建对象的稀疏点云，可以大概地描述出它的轮廓，但是重建对象的表面信息并不能很好地被描述。因此需要对图像中的信息实现最大化描述，将稀疏点云通过扩展和过滤进一步扩展为稠密点云，使得描述的重建对象表面信息更完整。PMVS使用的是面片扩展原理，该原理利用光度一致性原理将1组稀疏匹配点扩展至周围像素以获取稀疏点周围稠密点云，而误差滤波步骤则是利用全局可见性约束原理去除错误的匹配[11]。

PMVS生成ply格式文件用于存储稠密点云数据，本试验使用点云库（point clouds library，简称PCL）将系统生成的三维稠密点云进行可视化显示（图3），使用本研究方法不但得到了完整的果树的三维点云数据， 同时在序列图像中匹配点最多的地面也生成了稠密点云。

2.3点云去噪

从图3可以看出，除了果树自身的三维形态点云外，还包含要面临的2个方面的噪声数据：一是地面噪声，使用相机围绕果树进行拍照过程不可避免地要带入果树所在的地面点云信息，而这部分信息与物体完全无关，从而增大了点云的数据量；二是相邻果树枝条的干扰，理想情况下应该选取1株单独的果树作为研究对象，但本研究所选取的试验对象均在野外的果园中，在实际环境中很难做到这一点，因此这部分的点云数据也作为噪声数据必须进行去除。

从图3中不难看出，同一物体的点云聚集在一起，不同物体的点云在三维空间上存在一定的空间距离，因此非常适合使用直通滤波器进行噪声去除。直通滤波器是根据用户指定的单一维度实行滤波，即去掉在用户指定范围内部或外部的点。使用直通滤波器之前首先使用点云库（point clouds library，简称PCL）的k-d tree API获取场景点云在三维坐标上的最大、最小值。通过直通滤波器采取逐步逼近的办法过滤场景点云数据并进行可视化显示，通过人的主观经验判断确定最佳点云提取值。图4是使用该方法后得到的完整果树点云模型，可见模型完整保留了自身的三维坐标和RGB颜色信息，证明去噪方法的有效性。

3物候期苹果树点云模型

在对苹果树枝干进行三维形态模型获取后，为了进一步验证本方法的有效性，在果园内选择开花、展叶、结果等不同物候期的苹果树进行三维点云获取，以验证本方法的有效性和适用范围。在果园选择树高和冠层直径相近并符合拍照条件的4株果树进行三维点云获取的试验，由此形成的对比结果见图5至图8。从点云图中不难看出，果树叶片的遮挡对于点云模型有着决定性的影响，造成了点云模型的部分丢失。

4结论与讨论

使用序列图获取苹果树的三维点云数据，操作时间短，不需要专用的激光扫描设备，大大降低了果树三维点云模型的研究门槛。从本试验结果看，该方法适用于枝干明显的果树，对于树叶遮挡比较严重的果树，尚无法建立其完整的点云模型，需要在以后的研究中进一步探讨。

参考文献：

[1]霍尚一. 中国水果出口贸易影响因素的实证分析[D]. 杭州：浙

江大学，2008.

[2]张磊. 中国水果出口影响因素及竞争力的研究[D]. 无锡：江南大学，2013.

[3]伍小梅. 深加工视角下我国水果业的出口竞争力研究[D]. 长沙：湖南大学，2006.

[4]楼军文. 中国水果进出口检验检疫技术性贸易措施研究[D]. 北京：中国农业大学，2005.

[5]林如泉. 水果出口跨越技术性贸易壁垒的对策研究[D]. 武汉：华中农业大学，2007.

[6]周国民. 数字果园研究现状与应用前景展望[J]. 农业展望，2015，11（5）：61-63，81.

[7]章兰芬. 苹果树体结构原位数字化及分形特征研究[D]. 杨凌：西北农林科技大学，2012.

[8]马晓丹. 苹果树冠层光照分布计算方法研究[D]. 北京：中国农业大学，2015.

[9]李春友. 农林复合系统中核桃冠层结构动态模拟研究[D]. 北京：中国林业科学研究院，2012.

[10]俞立恒，毛培春，孟林，等. 京郊果园种植几种优质果园草覆盖越冬技术研究[J]. 草业科学，2009，26（6）：166-171.

[11]杨捷. 异构环境下点云重建的并行化研究[D]. 银川：宁夏大学，2014.

[12]Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision. Washingtom，USA：IEEE Computer Society，1999：1150-1157.

[13]Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[14]Lowe，G D. Local feature view clustering for 3D object recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. Kauai，Hawaii，USA：IEEE，2001：682-688.

[15]Lourakis M，Argyros A. The design and implementation of a generic sparse bundle adjustment software package based on the Levenberg-Marquardt algorithm[R]. Technical Report No. 340，Institute of Computer Science，FORTH，Heraklion，Crete，Greece，2014.

[16]Wu C，Agarwal S，Curless B，et al. Multicore bundle adjustment[C]. IEEE Conference on Computer Vision and Pattern Recognition. Cdorado，USA：IEEE，2011，30：57-3064.

[17]Furukawa Y，Ponce J. Accurate，dense，and robust multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（8）：1362-1376.

[18]Furukawa Y，Curless B，Seitz S M，et al. Manhattan-world Stereo[C]. CVPR：2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，USA：IEEE，2009：1422-1429.

[19]Furukawa Y，Ponce J. Carved visual hulls for image-based modeling[J]. International Journal of Computer Vision，2009，81（1）：53-67.

[20]Furukawa Y，Cxirless B，Seitz S M，et al. Towards internet-scale multi-view stereo[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Francisco，USA：IEEE，2010：1434-1441.