摘  要：为了给室外智能移动设备提供可视化的三维模型，需要对部分场景单独进行三维重建。本文将无人机进行倾斜摄影与地面三维激光扫描技术有效结合，采用无人机倾斜摄影和地面三维激光扫描采集场景数据，经过数据处理和改进的ICP算法配准融合，实现对三维场景模型重建。从而提高场景三维模型的质量，为智能移动设备在三维场景中运行提供了基础条件。

关键词：点云融合;倾斜摄影;激光扫描;三维场景建模

中图分类号：TP391.9      文献标识码：A文章编号：2096-4706（2021）14-0075-05

Abstract： In order to provide a visual 3D model for outdoor intelligent mobile devices， it is necessary to reconstruct part of scenes separately. In this paper， UAV oblique photography and ground 3D laser scanning technology are effectively combined. UAV oblique photography and ground 3D laser scanning are used to collect scene data. After data processing and improved ICP algorithm registration fusion， 3D scene model reconstruction is realized. As a result， the quality of scene 3D model is improved， and the basic conditions are provided for the intelligent mobile devices to run in the 3D scene.

Keywords： point cloud fusion; oblique photography; laser scanning; 3D scene modeling

0  引  言

随着科技进步的发展，室外智能移动设备应用越来越广泛，三维场景模型给室外智能移动设备提供了可视化的三维场景，是实现路径规划及自助导航的基础。室外智能移动设备的应用也对三维场景模型的精度、分辨率和清晰度都有了更高的要求。

利用无人机倾斜摄影技术可以快速的得到大范围场景信息，也可以得到场景高处不同角度的影像数据，倾斜摄影技术具有高效、高速、色彩逼真的特征[1，2]，但是接近地面部分信息缺失，特别是无人机因为角度原因无法获得的数据，必须需要借助其他手段来补充。地面大场景三维激光扫描作业是一种新兴技术，它具有非接触、高效、高精度获取物体表面三维点云数据等优势，能为空间信息数据库提供大量的数据源[3，4]。该技术已经应用于智能工厂、智慧城市、建筑信息提取等领域。与传统的人工建模相比，三维激光扫描技术具有明显的优势，数据采集具有较高的效率和精度[5，6]。利用三维激光扫描技术更能够进入到复杂的场景环境和空间进行扫描操作，可以直接对各种大型非结构化的三维场景数据进行完整采集，然后进行快速重建三维场景模型。地面扫描仪数据能够与无人机倾斜摄影数据相结合，最终形成较为完善场景模型。

随着智能移动设备的广泛使用，三维场景模型的构建受到了众多学者的重视。张爱武等依据三维成像扫描仪提出室外场景模型建立的系统方法，以及推导了三维激光与采样点的配准关系[7];孙卫东利用三维激光扫描的特点提出自适应室外场景表面重建方法，通过边缘提取和表面曲率进行自适应采样[8];杨丽萍利用三维可视化类库，实现三维激光扫描数据的几何建模[9];肖雄武针对无人机倾斜摄影自动三维重建的自动化处理、重建模型结构特点不突出等问题进行研究[10];曹明兰等利用无人机倾斜摄影系统与三维激光扫描系统的结合讨论了数据获取、点云配准、及数据处理，实现了森林三维场景模型建立[11]。当前智能移动设备对三维场景提出了更高的要求，本文将无人机倾斜摄影和大场景激光扫描技术相结合，构建高质量的三维场景模型。

1  技术路线

本文以无人机在场景高处进行倾斜摄影为主，来获取场景整体的三维空间信息，为整体三维场景空间信息的获取和三维激光点云数据的改进提供参考和依据，经过空间三角计算得到粗略的模型。然后，通过多站三维激光扫描点云数据的拼接，主要对场景整体的信息进行改善和修复。最后对残缺区进行孔洞修复，填补点云数据缺失部分，获得完整的三维场景模型，技术路线如圖1所示。地面激光扫描技术与无人机倾斜摄影相结合提高了三维场景模型的质量，在三维场景模型建立中取得了较好的效果。三维场景的几何特征和纹理特征能为室外智能设备的场景识别和路径规划提供了信息支持。

2  点云数据采集

2.1  倾斜摄影数据采集

无人机倾斜摄影可以高效地获取三维场景中建筑物高处的信息。无人机航线铺设常采用自主导航等距离曝光模式，为了保证采集区域边界的精准度，在边缘区域留出间距以保证信息的完整性，然后在选定模式路径下进行图像信息采集。利用无人机获取场景中建筑物、植被等顶部图像，得到其表面信息，然后根据计算机视觉原理和低空辅助飞行控制数据，通过图像拓扑关系，给出场景的三维建模。通过生成包含颜色信息的三维点云数据，直观的表达场景中建筑及植被等物体的空间分布。可利用CloudCompare等软件对屋顶、墙壁等的图像进行密集匹配，生成密集的点云，再对航拍图像进行预处理，同时调整航拍图像的饱和度和对比度。一般来说，重投影误差大于1需要多次重复的三角测量。但是在一些细节区域，由于遮挡和图像差等问题，倾斜摄影拍摄会出现失真和空洞。因此有必要对该区域的拍摄数据进行补充。

2.2  地面场景点云数据采集

无人机对于场景接近地面部分和角度遮挡原因，对场景数据采集存在不足，影响场景模型质量，可以采用大场景激光扫描仪对其存在缺陷的地方进行扫描，补充数据，提高模型质量。为了获得全方位、高精度的场景数据，可根据实际需求和扫描仪的工作参数，设置站点数、站点间的距离和每个站点扫描的时间，从不同的角度捕获多次扫描数据，以保证点云的测量精度和完整性。三维扫描仪对测量区域的布置一般满足以下要求：（1）根据需求合理布置扫描站点的间距，在保证建筑点云数据完整获取的前提下，避免不必要的站点设置。（2）每个相邻控制点的视觉重叠部分应达到30%以上，以保证拼接效果完好。此外，激光扫描设备的设置会对测量速度、降噪级别和扫描的范围产生重要影响，本文采用FARO S70扫描仪的高质量4x设置，这样扫描仪将更集中于扫描区域中对象的点。采用1/4的分辨率彩色扫描，扫描过程主要包括仪器参数调试、扫描点布置、数据导出等操作。

3  点云数据处理

3.1  倾斜摄影数据理

首先，对倾斜摄影采集到的图像进行预处理，图像预处理主要是进行格式数据转换、对比度调整，曝光调整等图像优化，在对图像进行预处理后，再对图像数据进行空中三角测量。空中三角测量计算主要在于自动、准确的估算每幅输入影像的位置、角元素和相机属性，以确定图像拍摄的位置和方向。空中三角测量计算从输入区块开始，然后根据选定参数生成新的完整区块或平差区块，即确定图像的内部和外部方向元素，如图2所示。空中三角测量是提取每张影像的特征点，利用这些特征点两两之间连接进而形成三角，再将测量区域拍摄到的正常图像合并到一个统一的坐标系当中，生成一个高密度的点云模型。

图3为图像的质量报告。一共输入234幅图像，导入图像的校准使用率达到100%。每个图像数据集的图像中值为5 986个关键点，共有26 522个连接点，其中图像中值连接点为534个点。平均重投影误差（RMS）为0.82个像素，在倾斜摄影建模中，投影误差小于1，误差在允许范围内。经过多次的实验结果表明，如果校准率没有到达100%，或投影误差较大，则需要重新导入新的相片进行空中三角测量，以免后期出现数据不足，导致图像残缺。

空中三角测量计算后，在生成的点云基础上生成三维模型，如图4所示，三维模型整体效果尚可。但是放大后发现细节部分还是存在问题，存在空洞和失真，如图5所示，因此有必要通过地面三维扫描仪对该区域进行三维激光扫描，来修补这些不足。

3.2  三维扫描仪数据处理

使用三维场景扫描仪获取的数据来弥补无人机倾斜摄影的不足。根据存在问题的区域和扫描仪性能，布置地面扫描点，得到三维扫描数据后需要对原始数据进行再加工，检查数据的完整性，进行数据的规范化和点云过滤等操作。现场环境的复杂性及扫描本身反射不均匀的影响，容易造成扫描获取点云数据存在噪音点，为了提高后续配准的效果，需要对点云数据进行裁剪及平滑处理。

本文采用SCENE软件对FARO三维扫描仪采集的数据进行处理。首先，导入数据到FARO对应的点云处理软件SCENE里面，对三维扫描仪扫描到的场景进行拼接、处理、裁剪效果不佳的点和导出点云，对于不同设备采取到的数据导出成常用的las数据格式，以方便后续的使用。

4  数据配准

数据配准是将不同坐标系中的点集转换到同一坐标系中，即计算两个空间坐标系变换关系[12]。地面三维扫描仪系统和空中无人机系统有多个坐标系，包括世界（绝对）坐标系、相对坐标系、扫描仪坐标系和无人机相机坐标系。坐标系的统一是数据融合的基础。将无人机点云数据的坐标系作为相对坐标，需要将无人机点云数据转化到同一坐标系中进行数据配准[12]。本文采用人工粗配准和自动精配准的方法进行点云配准。

4.1  点云数据粗配准

粗配准是将两个完全不在同一坐标系下的两个数据进行人工配准。初始点云的精配准容易受初始值影响，会收敛局部的最小值，所以点云的粗配准就变得相当重要。进行手动粗配准使用4点法，首先提取4个横截面中的特征点，对这些点进行区分和连接，根据他们自身的位置，以及潜在位置赋予不通的标签。最终建立语义点的意义对应关系，为保证粗配准达到更好的效果常常会选择多个对应点，为之后精配准提供高质量的变换矩阵，以便到更好的结果。在对一个扫描场景的数据进行手动配准过程中得到一个变换矩阵，其精度为0.69，如图6所示。后续可通过精配准进一步改善效果。

4.2  点云数据精配准

ICP算法是基于最小二乘法的数据最优匹配的算法，ICP算法的配准效果与点云集的初始位置关系很大。它的基本原理是首先获取两个数据集的特征点，根据特征点进行数据匹配，将这些匹配点设置为假想的对应点，然后根據式（1）所描述的对应关系求解配准参数，最后利用配准参数进行数据转换[12]，使配准误差S2的最小化。

传统的ICP算法在对点云数据进行精配准过程中，按照一定的约束条件，迭代搜索两个集合之间最接近的点，ICP算法易于实现，且精度高，但也存在一定的不足。首先，点云数据量大时，收敛速度慢，容易陷入局部最优，导致配准效率低，配准效果差;其次，对点云初位置要求太高。由于环境的复杂性，为了减少点云配准误差，提高配准速度，本文采用基于k-d tree改进的ICP算法，提高工作效率和配准精度提高。

改进ICP算法的原理是基于二叉树的坐标分割建立点的拓扑关系。使用法向量角作为决定因素，而不是以k-d距离方面的邻里关系来决定。将需要查询的点与分裂维的值进行比较，得到两种答案分别进入左子树分支和右子树分支。这样就可达到二叉树的叶子结点，沿着寻找路经就可找到同一子空间中的最近近似点。再对点往回寻找，若得到更优的结点则更新子空间节点来搜索最近近似点，直到最终路径全部搜完。搜索直到达到目标为止，该算法不使用搜索每个点，而是根据以往的经验选择更有效的搜索路径。当采用间接路径时，近似搜索方向由迭代关系确定，改进的ICP算法具体步骤为：

（1）选择种子点pi从点集P计算法向量的加权平均值。

（2）选择k-d tree最近的点pi从点集X并计算出这些点的法向量。

（3）构造相应的点集C（pi， xk）具有相同法线矢量角度的点对，并更新目标点云。

（4）如果均方根误差收敛但不低于给定的阈值，则确保基于配准向量的下半搜索空间。

（5）直到出现阈值收敛，如果解决方案处于局部最优状态，则迭代。

（6）如果残差平方和不收敛，则处理搜索空间的另一半并返回到步骤1，直到满足终止条件。

为了验证改进的ICP算法的可行性和稳定性，通过构建一个实际的场景模型进行了测试。图7显示了经典ICP算法与改进ICP算法配准的效果，通过a、b、c三处的比较，可以发现使用改进后的ICP算法解决了配准效果得到提高、空洞问题、提高纹理精度及细节得到了优化。实现了多源信息的优势互补，降低模糊的可能性，降低错误率，改善信息不完整的现象，提高了场景模型质量。算法测试数据对比如表1所示，改进ICP算法的配准误差为0.21，比经典ICP算法配准误差减少了83.05%;由于采用k-d tree改进后缩短对应点的时间，改进ICP算法的配准时间只用了经典ICP算法的43.87%。测试场景中两个点云数据重叠度为50%时，这时精度为0.08，如图8所示，与图6的精准度0.69相比配准后的精准度有大幅度的提升。

4.3  三维场景输出

使用改进的ICP算法配准和数据融合进行大场景的三维场景建模，建筑物屋顶三维激光点云数据模型的缺失数据以及倾斜摄影数据模型中的空洞现象都得到了改善。最后，将融合的数据导入到Context Capture建模软件中，基于坐标系的数码照片纹理和地理位置，经过三维软件空中三角测量计算后直接生成一个三维场景模型。图9展示了最终的效果三维场景。较好的解决了无人机建模地面遮挡缺失和三维扫描仪的顶部部分数据缺失等问题。

通过数据融合生成的三维场景模型，较好的解决无人机因遮挡对场景贴地部分信息缺失和地面站扫描仪缺少高处信息的问题。可以得到高质量三维场景几何信息和纹理特征，展示出了场景的真实性、时效性，结合移动设备硬件的突破，为三维场景模型在智能移动设备中的应用提供了可能。

5  结  论

本文探讨了基于多源数据融合的三维场景建模技术。实验结果表明，与单点云三维扫描数据建模和无人机倾斜摄影建模相对比，本文的地面激光扫描结合空中无人机数据融合建模效果更好，质量有了大幅度的提升。解决地面三维激光扫描因建筑遮挡缺少顶部信息存在大量空洞、无人机因建筑挡住角度无法采集数据等问题。三维激光扫描技术和倾斜摄影技术的结合可以高效广泛地获取三维场景空间信息，提高三维场景模型质量。在保证高精度的方面进一步完善建模效率，最终在现有基础上提高采集精度与建模速度，从而形成一套快速有效的三维场景建模体系，为智能移动设备的应用提供了基础条件。

参考文献：

[1] MA D L，LI G Y，WANG L，Rapid Reconstruction of a Three-Dimensional Mesh Model Based on Oblique Images in the Internet of Things [J]，IEEE Access，2018，6：61686-61699.

[2] LAZZARI M，GIOIA D. UAV images and historical aerial-photos for geomorphological analysis and hillslope evolution of the Uggiano medieval archaeological site （Basilicata，southern Italy） [J]. Taylor & Francis，2017，8（1）：104-119.

[3] 杜建麗，陈动，张振鑫，等.建筑点云几何模型重建方法研究进展 [J].遥感学报，2019，23（3）：374-391.

[4] 单杰，李志鑫，张文元.大规模三维城市建模进展 [J].测绘学报，2019，48（12）：1523-1541.

[5] 张文春，范洪洋，刘永吉，等.三维激光点云联合无人机影像的古建筑重建 [J].测绘通报，2019（11）：130-133+144.

[6] 杨必胜，梁福逊，黄荣刚.三维激光扫描点云数据处理研究进展、挑战与趋势 [J].测绘学报，2017，46（10）：1509-1516.

[7] 张爱武，胡少兴，孙卫东，等.基于激光与可见光同步数据的室外场景三维重建[J].电子学报，2005（2）：384-387+391.

[8] 张爱武，孙卫东，李风亭.基于激光扫描数据的室外场景表面重建方法 [J].系统仿真学报，2005（2）：384-387+391.

[9] 杨丽萍，张爱武，刘晓萌.基于VTK的室外场景三维重建 [J].系统仿真学报，2006（S2）：411-413+417.

[10] 肖雄武.具备结构感知功能的倾斜摄影测量场景三维重建 [J].测绘学报，2019，48（6）：802.

[11] 曹明兰，李亚东，冯海英，等.倾斜摄影与激光扫描技术结合的3D森林景观建模[J].中南林业科技大学学报，2019，39（12）：10-15+33.

[12] 谢云鹏，吕可晶.多源数据融合的城市三维实景建模 [J/OL].重庆大学学报：1-12.[2021-06-05].http：//kns.cnki.net/kcms/detail/50.1044.N.20200423.1829.002.html.

作者简介：鲁超（1996—），男，汉族，湖北荆州人，硕士研究生在读，主要研究方向：三维场景模型建立。