李想，张世强，梁倩

(1.西北大学 陕西省地表系统与环境承载力重点实验室，西安 710127；2.西北大学 城市与环境学院，西安 710127)

0 引言

随着“智慧城市”和“数字地球”等概念的提出，以及生活中动态导航的普及，人们对三维地理空间数据现势性的需求越来越强烈，从而需要更快的三维建模效率、更高的模型精度和更真实的模型[1]。三维模型在传统上主要从航空遥感和卫星遥感获取的立体像对中提取，具有成本高、周期长、自主性弱等问题，难以对大比例尺数字地图进行及时、大范围的更新。无人机具有云下低空飞行、数据采集灵活、时效性强、成本低廉等优势，基于无人机航拍影像的三维重建技术是解决中小范围影像问题的有效手段。

现有无人机的三维重建方法主要分为基于传统航测理论的改进方法和基于多视几何理论的方法，前者需要有多个相机同时进行拍摄，对于无人机的姿态控制、相机定向等要求较高[2]。而基于序列影像重建主要根据图像特征、多视几何等求解，相比较传统的航测方法，通过单个相机的序列图像即可实现，其利用小型四旋翼无人机即可实现数据获取，该方法虽起步较晚，但已快速成为热门的研究方向[3-7]。

1992年，Faugeras[8]首次提出可以通过未标定的序列影像进行场景和物体的三维重建。同年，Hartley[9]提出了三维重建的相关理论，即三维重建分为：对应点关系的提取、摄影重建和尺度重建3个部分，分层重建的思想成为主流思想。1999年，Karras等[10]利用传统航测方法对无人机影像进行处理，证明了数字正射摄影技术可以进行低空非标准考古学图像的重建，这被视为首次对无人机序列影像进行应用。2008年，Noah[11]完善了三维重建框架，成功开发了Bundler算法，该算法可以利用无人机序列影像进行场景三维重建。以上研究主要用于提取图像中的稀疏关键点，且只能恢复到稀疏点云三维重建，对于真实模型的三维重建还具有一定距离。2010年，Yasutaka Furukawa等[12]提出基于面片的多视图立体视觉(patch based multi-view stereo，PMVS)和基于聚类的多视图立体算法(cluster based multi-view stereo，CMVS)对稀疏点云进行密集点云重建，从而实现了更真实的三维模型重建。近年来，随着相关技术的不断成熟，市场上已经出现了多种商业化无人机影像处理软件，知名的软件有：Altizure、Pix4Dmapper、Agisoft Photoscan等，研究人员通过对比相关软件和模块，分析精度并提出改进的方法。2012年，Strecha等[13-14]提出超轻型无人机可以使用Pix4Dmapper软件进行全自动化和精确的测绘，其精度取决于飞行高度，选择适当的映射解决方案可以得到与传统的地图相媲美的效果。2013年，Gini等[15]对比了多种无人机处理软件，认为经过滤波处理后Photoscan的结果较Pix4Dmapper更优秀，对于阴影区的重建结果精度更高。

综合已有文献[16-20]看，无人机序列影像的三维重建研究仍处于起步阶段，无人机重建框架流程不断快速发展，但无人机序列影像的三维重建仍面临许多问题，如数据量大、冗余率高、数据获取参数难以优化等，其中基于小型四旋翼无人机的三维重建相关报道仍不多。本实验通过小型四旋翼无人机开展了无人机序列影像的三维重建实验，建立了三维重建的完整流程。在此基础上，讨论了三维重建中的关键技术，基于对比实验提出了相应的优化参数，从而形成了较好的解决方案。

1 无人机序列影像的三维重建实验

无人机序列影像的三维重建方法流程图如图1所示。首先需要获取数据，得到未处理的无人机序列影像，通过相机标定、畸变校正等处理后进行特征点的提取与匹配，在此基础上进行稀疏点云重建，再通过PMVS方法进行密集点云重建，对得到的密集点云再进行表面纹理重建生成三维场景或模型重建(图2)。

图1 三维重建实验流程图

图2 基于小型四旋翼无人机的三维重建实验过程

1.1 相机标定

由于小型无人机多数搭载非专业摄影测量相机作为传感器系统，而无人机影像进行三维重建前需要满足高分辨率、高精度的要求，必须通过相机标定得到相机的畸变参数，进而通过数学模型和畸变参数对影像进行畸变校正。传统标定方法虽然精度高但对设备有较高的要求，其过程也比较繁琐，自标定方法的精度不高。

1998年，Zhang[21]提出了基于移动平面模板的相机标定方法，此方法介于传统标定方法和自标定方法之间，克服了这二者的缺点同时又兼备二者的优点。本实验所用数据由消费级四旋翼无人机DJI Mavic摄影，相机类型为FC220，分辨率4 000像素×3 000像素，相机标定见图2(a)，相机标定参数见表1。

表1 相机标定参数

通过得到相机内参数，系统会对照片位置进行优化，通过标定相机，为之后的数据处理提供了良好基础。

1.2 特征点的提取与匹配

图像特征点，或者称为图像角点，通常为图像中有明显明暗变化或者纹理丰富的物体边缘点等。无人机影像视角变化大、重叠度不规律、冗余度高，因此，必须进行合理的特征点提取和匹配。尺度不变特征变化算法(scale invariant feature transform，SIFT)具有旋转、尺度与光照不变性，是当前研究最多的一种局部特征匹配算法，广泛运用于无人机影像的匹配过程。因此，本研究使用SIFT算法提取图像特征点，并进行特征匹配[22](图2(b))。需要指出的是SIFT算法的前提是假设图像之间满足相似变换，适合处理相邻角度偏差小于30°的影像。

1.3 稀疏点云重建

稀疏点云重建(sparse point cloud reconstruction，SPCR)的基本理念是运动恢复结构(structure from motion，SfM)，现在常用的技术是Noah等[11]基于Lecenberg-Marquardt算法主导开发的Bundler重建框架，其根据SI-FT匹配得到的结果得到相机位置等场景信息，提取图像中稀疏的关键点，进而通过匹配点数最多的2张图像中的特征点匹配，计算出这2幅图像的三维信息，在此基础上不断加入新的序列图像进行迭代，从而重建稀疏点云(图2(c))。

1.4 密集点云重建

密集点云重建(dense point cloud reconstruction，DPCR)，是将基于面片的多视图立体视觉PMVS方法作用于稀疏点云，从而生成密集点云。多视图几何重建使用的图像重叠度很高，因此在进行PMVS之前，要先使用基于聚类的多视图立体视觉CMVS方法对影像进行聚簇分类，以减少密集重建数据量。之后，在光度不变和全局可见性的约束下，利用PMVS方法匹配、扩散和筛选3个步骤生成最终的密集点云(图2(d))。

1.5 三维模型重建

在密集点云重建后，可将离散的各个点云数据生成不规则三角网格(triangulated irregular network，TIN)，然后在模型与纹理结合，即可完成带有纹理的三维模型重建(图2(e))。在遥感图像的三维可视化方面，主要是依据数字地表模型(digital surface model，DSM)反映真实地形，DSM可以只通过航拍数据自动合成获得，在更精准的测量需求下需要在地面加入适量控制点，从而约束并校准地面真实模型(图2(f))。

2 三维重建中的关键问题

2.1 无人机飞行要求

由于消费级小型无人机通常只带有单个镜头，以测绘为目的的空中摄影多采用竖直摄影方式，因此通常需要保持无人机镜头竖直对地拍摄。

三维重建需要立体像对进行匹配加密，相邻图幅间的同名地物点需要具有同样的精度来保证匹配，因此要求无人机在飞行过程中保持稳定的姿态。而小型旋翼无人机因为重量较轻，在空中飞行时受到气流影响，极易导致飞行姿态不稳定，从而导致获取的序列影像存在不同方向的畸变差，使匹配后图像发生扭曲畸变，如图3所示。

图3 受姿态影响产生的匹配畸变

相机通过云台搭载在无人机上，若相机拍照时无人机仍在飞行，在相机曝光时间内无人机飞行过的距离在传感器中成像的同名地物点移动的距离称为像点位移，运动产生的像点位移会造成影像模糊，对于小型的非量测相机，像点位移没有办法得到补偿，因此拍摄时需尽量保持相对较低航速。

理论上，在同一高度上用同一相机进行拍摄，所得相片的比例尺是一致的。但是，受各种因素的影响，飞机的飞行高度总是会发生变化，从而使比例尺发生变化，比例尺变化过大会导致后期处理出现错误，相片比例尺由相机的主距和航高确定：

(1)

式中：1/m为相片比例尺；f为摄影机主距；H为航高。

对于同一次航拍作业，主距f为常量，相片比例尺与航高成比例。设航高变化量为±ΔH，比例尺分母变化量为±Δm，则：

(2)

相对误差一般不应超过5%，则：

ΔH≤5%·H

(3)

在拍摄过程中，无人机按照航线飞行两两相邻相片对所摄地面要有一定的重叠影像，这种重叠影像部分称为航向重叠度，对于两条相邻航带之间的相片也要有一定的影像重叠，这种重叠影像部分称为旁向重叠度，一般相片重叠度是用相幅边长的百分数表示，即：

(4)

(5)

式中：lx、ly表示相幅的边长；Px、Py表示航向和旁向重叠影像部分的边长。

相片的重叠部分是立体观察和相片连接所必须的条件，低重叠度可能会产生不良后果，只有该区域内有数量足够的关键点匹配，才会产生良好的结果。

航高是另一个重要因素，对于航高的确定要综合考虑地面分辨率、飞行作业工作量和安全等因素。当飞行镜头焦距不变时，航高越高，分辨率越低；反之，当航高越低，分辨率越高。但是为了要求更高分辨率而使航高较低时，可能会导致安全问题。

对于区域测绘作业来说，航高也决定了工作量，利用Mavic Pro Camera的参数对同一地区进行了不同高度拍摄数量估算，设航向重叠率为80%、旁向重叠率为60%，则航高与航点数的关系如图4所示。

图4 航高与航点数关系图

从图4中可以看出，航点数与航高呈现幂函数关系，从20 m到80 m航高，航点数减少了近20倍，所以从工作量上考虑，提高航高可以有效降低飞行工作量。所以，确定航高时需要综合考虑，在保证安全的情况下，需要保持分辨率与工作量之间的平衡。

对无人机的飞行要求决定了无人机序列影像的质量，而无人机序列影像的质量直接影响到后期处理的质量及精度。因此，要尽量保持飞行姿态平稳，垂直对地拍摄；保持航速较低，从而减小像点位移；重叠度至少保持在航向重叠度60%和旁向重叠度40%，要进行较好的三维重建，推荐航向重叠度和旁向重叠度提高到80%和60%；根据工作目的综合确定航高。

2.2 拍照模式选择

无人机序列影像的获取模式有多种，包括手动操控航拍、自动规划路径航拍等，获取到的数据源类型可以为照片也可以为视频。对待不同的地区可以选择不同的拍摄方法，若对小范围地区进行精细地表观察，通常采用航点悬停拍摄模式；若对建筑等大型个体场景进行三维重建多选择环绕拍摄模式，全方位的拍摄后进行三维重建；若对某个街道或小区范围等建筑物较多而且相对较大的地方则可以采用掠过式拍摄模式如等时间距拍摄或等距间距拍摄。此外，对于不同的目的所选择的拍摄方式也是不同的，如果需要快速拼接全景影像图，一般选择垂直对地观测；若需要精细的地表三维模型，则常采用倾斜摄影测量。

表2和表3均为在地面站控制模式下无人机接收自主航线规划进行的自动定向飞行。当前无人机三维重建流程已经越来越趋于自动化，但是合适的人工干预和人工操作可以起到至关重要的作用。在自动拍摄过后重建效果不理想时可以再进行手动飞行拍摄补充，地物重建效果更好。

表2 无人机不同拍照模式的优缺点对比

表3 面向不同应用推荐的不同拍照模式(√代表推荐方法)

2.3 不同软件重建效果

随着商业软件的不断发展，它们在处理无人机影像上的能力各有不同，本实验选择Pix4Dmapper、Agisoft Photoscan、Altizure和开源软件VisualSFM进行重建，对比不同软件重建精度及用时结果。

如表4所示，从用时上判断，Altizure和Pix4Dmapper较Photoscan与VisualSFM软件用时少，但Pix4Dmapper和VisualSFM只能重建到密集点云，而Photoscan和Altizure可以完整三维重建流程。从重建方式上判断，Altizure是上传云处理，而其他软件需要本地处理，若针对大范围区域，Altizure十分实用。

表4 不同软件重建数据对比

由于不同的软件最终结果不同，Pix4Dmapper和VisualSFM软件进行到密集点云重建后，要继续进行真实三维还原需要借助其他软件，而Photoscan和Altizure可以进行三维模型还原和DSM生成。本实验就最终结果进行对比，开源软件VisualSFM的密集点云较Pix4Dmapper少，呈现多处空白。而Photoscan和Altizure软件相较前2个软件处理方式更加简单自动化，从效果上看，Altizure可以还原出航拍时路过的人群，且三维重建模型最丰富。综上所述，本实验对比分析后认为以上几款软件的重建效果是Altizure>Photoscan>Pix4Dmapper>VisualSFM。

3 结束语

本文在计算机处理和人工处理相结合的情况下，针对无人机影像拍摄和后期处理中存在的问题如无人机飞行姿态控制、拍摄模式选择以及后期处理成像精度进行了分析，结果表明：

①无人机影像序列的三维重建只需要较少的人工干预即可以获得三维重建数据。对于需要进行精细测绘要求的作业需要加入人工控制点，对于需求快速拼接成图的作业可进行空中全自动作业。

②在飞行过程中，要保持无人机飞行姿态稳定，需要控制无人机飞行的航高、航速以及分辨率，拍摄数量要有足够的重叠度才能有精细的摄影测量成图。对于不同的重建目的应选择不同的镜头和拍照模式。若拍摄小区域且要求精度较高，推荐选择航点悬停拍摄模式，若拍摄较大区域，推荐使用等时间距拍摄或者等距间距拍摄模式。

③不同软件重建结果不同，云处理的Altizure软件相较其他软件具有优势，而若要自主算法更新，开源软件VisualSFM等软件更为实用。

目前的无人机三维重建应用仍有限，三维模型更多作为展示或演示功能，其中蕴含的数据应用还远不如二维数据。因此，之后的研究方向应该是如何将三维重建模型更精细化，并且可以应用到更多方面。