三维重建算法研究综述

2020-10-30张彦雯胡凯王鹏盛

南京信息工程大学学报 2020年5期

张彦雯胡凯王鹏盛

0 引言

三维重建指对三维物体建立适合计算机表示和处理的数学模型,经过十多年的发展,已经取得了巨大的成就．随着科学技术的发展,利用计算机构建出真实景物的三维模型,已经成为很多领域开始深层研究之前必不可少的一部分．如在医学治疗中,利用三维CT图像判断病情;在文物保护中,将文物进行三维复原,供游客参观．除此之外,在游戏开发、工业设计、航天航海等诸多领域,三维重建发挥着不可或缺的作用．目前,研究者们主要通过三种方式来获取三维模型:一是直接根据传统的几何建模技术;二是基于多幅不同角度拍摄的图像,运用计算机视觉理论进行三维建模,该方式为基于图像的三维重建;三是利用三维扫描设备对目标进行扫描,然后重建目标的三维模型,该方式为基于点云的三维重建．在上述三种方法中,传统的几何建模技术发展最为成熟,利用该方法可以得到非常精确的三维模型,因此该方法已经广泛应用于诸多领域．然而采用这种建模技术周期长、操作复杂,对于许多不规则的自然或人为物体,建模效果与真实场景仍存在差异．因此基于图像与基于点云的三维重建成为了三维重建领域中的热点.

基于图像的三维重建主要是将二维图像恢复成三维模型,其分为基于单幅图像的三维重建与基于多幅图像的三维重建．基于单幅图像的三维重建不能应用于大规模场景,因此本文主要介绍了基于多幅图像的三维重建.

基于点云的三维重建主要是将点云数据恢复成图形、图像,然后通过计算机处理形成三维模型．其主要流程有:数据配准[1]、点云数据预处理[2]、分割[3]、三角网格化[4-5]、网格渲染．由于点云获取设备获取点云角度单一,因此如何对多个点云数据进行配准拼接一直是研究的重点和难点.

20世纪90年代Debevec等[6]提出了用参数几何体来表示初始模型的方法．在21世纪初,学者们不断对传统的几何思想进行研究,至此通过参数几何法进行三维重建的研究已经较为成熟,同时在这10年间不断有应用于三维重建的软件问世．考虑到3DMAX和Maya等软件建模周期长、工作量大且不能对场景中隐藏细节进行还原,Chen等[7]基于Windows环境开发了一个多视图三维重建系统,该系统主要将基于多视图三维重建的算法进行集成,只需将各个视角的图像作为输入,便可以得到三维模型．相对于传统的软件,该系统操作简单且三维模型的精确度高、细节处理效果更好．随着科技的发展和社会的进步,各行各业对于三维重建的需求日益增多,三维重建的发展又达到了新的阶段．基于图像的三维重建主要包括稀疏点云重建和稠密点云重建．稀疏点云重建(Strcture From Motion,SFM)包括特征点检测与匹配以及SFM重构两个部分．初始的检测算子容易受到光照、尺度、旋转等因素的影响,Lowe[8-9]提出了SIFT(Scale Invariant Feature Transform)算法解决了以上因素的影响,至此稀疏点云重建的精度得到了大幅度提高．随着学者们不断创新与发展,SURF(Speeded Up Robust Features)、FAST(Features from Accelerated Segment Test)、ORB(Oriented FAST and Rotated BRIEF)等优秀算法被相继提出．利用特征点检测与匹配,计算特征点个数达到要求的图像对,为SFM重构中计算初始图像对及R、T求解做铺垫．SFM重构大致分为三类:增量式重构、全局式重构、混合式重构．其中增量式重构、全局式重构为传统方法．2017年,Cui等[10]提出了混合式SFM；2018年,Cui等[11]提出了一种外环图像匹配、内环增量式校准的方法；2018年,Zhu等[12]提出了一种嵌套分解的分布式框架用于全局式重构．在稠密点云重建(Multi-View System,MVS)中,深度图的计算尤为重要,其发展之初计算方法主要是计算几何参数以求得图像深度信息,例如Gallup等[13]提出的Plane-Sweeping、Bleyer等[14]提出的PatchMatch等．2010年前后，随着深度网络的发展,国内外一批精英学者将深度网络模型与几何参数法相结合以计算出图像深度,如Huang等[15]提出的Deep MVS．2018年,香港科技大学训练了一个深度网络模型MVSNet[16]，该网络模型能够脱离传统的几何计算,通过输入多视角图像得到深度图．2019年,Chen等[17]等提出了Point MVSNet神经网络框架.基于深度网络的三维重建仍在不断发展创新.

本文主要介绍基于图像的三维重建的算法,并简要地介绍三维重建效果的评价指标．基于图像的三维重建的流程主要包括:稀疏点云重建、稠密点云重建、点云网格建模、三维语义建模、三维矢量建模．其中稀疏点云重建是三维重建中搭建场景框架的过程,稠密点云重建是三维重建中增强场景稠密性的过程,三维重建效果的完整性与精确性与这两个步骤有直接关系.本文针对稀疏点云重建与稠密点云重建的发展进行系统综述.

本文第一节介绍稀疏点云重建,主要包括特征点检测与匹配、SFM重构;第二节主要介绍稠密点云重建,尤其对深度图的计算进行详细介绍;第三节主要介绍三维重建效果的评价指标;第四节对三维重建进行总结,并列举出在未来可能面对的问题及发展趋势.

1 稀疏点云重建

稀疏点云重建是通过相机的移动来确定目标的空间和几何关系的．首先输入一个场景的多视角图像,检测每张图像中的特征点,并对特征点进行匹配,然后运用SFM重构算法,恢复出相机的参数、相机之间的相对位置关系及场景的稀疏点云．最后捆绑调整优化相机位姿、相机参数、场景结构.

稀疏点云重建的流程为:特征点检测,特征点匹配,相机位姿(旋转矩阵R、平移矩阵T)初始值的求解,捆绑调整优化相机位姿、相机参数、场景结构.

1.1 特征点检测与匹配

特征点检测与匹配的作用是计算特征点个数达到要求的图像对,使得图像与图像间一直进行传递,从而形成一条轨迹,为SFM重构中的初始图像对及R、T求解做铺垫．如图1给出了利用ORB算法进行特征点检测与匹配的效果.

1.1.1 特征点检测

局部特征点,主要分为斑点和角点两类特征点,斑点是指图像中像素或灰度值大的区域,角点是指图像中物体的拐角或线条交叉的部分．斑点检测主要包括二阶的拉普拉斯高斯边缘提取算法(Laplacian Of Gaussian,LOG)、尺度不变特征变换算法(Scale Invariant Feature Transform,SIFT)[8-9]、加速稳健特征算法(Speeded Up Robust Features,SURF)[18]等．角点检测主要有Harris角点特征提取算子、加速分割测试特征提取(Features from Accelerated Segment Test,FAST)[19]、特征点检测算子(Oriented FAST and Rotated BRIEF,ORB)[20]等.

1999年SIFT算子被Lowe[8]提出,并于2004年得到完善[9],该算法主要是寻找多尺度空间下的关键点,计算关键点的位置、方向、尺度信息,以生成特征点描述子．SIFT算子提取的关键点精度高、不易受光照噪声的影响,但是该算子也存在计算量大、实时性能不高的缺点．Bay[18]提出了SURF算子,与SIFT算法不同的是,SURF特征点主方向的分配不是通过梯度计算,而是利用了Haar小波,SURF的计算速度是SIFT的3至7倍．在Susan角点[21]检测的基础上,Rosten等提出了FAST[19]算子,随后很多学者在该算子的基础上进行改进．随着对特征点描述子的深入研究,近几年提出了很多新的算子,例如Susan[21]、ORB[20]等．表1对经典特征点检测算法进行了对比,并且提供了代码资源.

表1 特征点检测算法优缺点Table 1 Advantages and disadvantages of feature point detection algorithms

1.1.2 特征点匹配

特征点匹配即通过寻找两幅图像中相似的特征点,来确定两幅图像的位置关系．SIFT和SURF算子在对特征点匹配时都是通过两特征点间的欧式距离计算出匹配度的．SURF算子中加入了Hessian矩阵,能够判断出两个特征点的方向,相比于SIFT算子,SURF算子匹配的精确度更高．SURF算子与SIFT算子需要对A视角图像的某个特征点与B视角图像上的每个特征点进行匹配,因此耗时较长．为解决这个问题,崔振兴等[22]将特征点邻域内像素之间的差值形成的特征向量与SURF特征描述子相结合形成68维特征向量；李红波等[23]提出了一种基于距离约束的改进SURF算法,该算法针对不同尺寸的图像,构建高斯金字塔图像层提取合适数目的特征点，采取特征点优化处理的方法使得提取的特征点分布均匀，并引入KD-tree树索引使得特征点匹配更加准确快速；Xu等[24]提出了一个加速算法,该算法采用了一种新的索引模式来寻找最相似的图像,然后通过一种新的接近最近邻搜索算法来匹配特征向量,大大加快了匹配速度；Sergeeva等[25]提出了一种异构背景的前景检测技术,在特征点匹配后运用该技术去除图像背景,该算法对复杂背景的目标重建效果很好.

1.2 SFM重构

SFM重构的思想是利用相机运动轨迹来估算相机参数.相机在不同视点摄取多幅图像,利用这些图像计算出相机的位置信息以及运动轨迹,从而在空间坐标系下生成三维点云,恢复出物体的空间结构．由于初步匹配过程形成的特征点较为粗糙,因此在估算相机参数之前,常用几何约束删除匹配错误的特征点对．SFM重构的方法主要有增量式和全局式两种.

1.2.1 增量式重构

增量式重构是从两张图像中重建出部分场景以及两相机的R(旋转矩阵)、T(平移矩阵),然后添加图像,利用PnP计算出第三幅图像的R、T,通过三角化重建出更多的场景．由于在求位姿与三维点时会有大量噪声干扰,后续计算结果会发生漂移,因此引入BA(Bundle Adjustment)算法进行优化.在每次添加图像完成三角化后都需要进行优化．增量式重构的步骤为:初始化、PnP解算、三角化、BA算法优化．其中较为重要的步骤是利用PnP算法求解相机位姿．PnP有很多种类,如P3P[26]、EPnP[27-28]、DLT[29]、UPnP[30]和MRE[31-32].

增量式重构的具体流程是:首先输入第1、第2张图像计算出相机位姿并重建出部分场景,然后输入第3张图像进一步调整相机位姿并重建场景,直到输入所有不同视角的图像,得到所有相机的初始位姿和初始三维点．如图2所示,通过输入第1、第2张图像,重建出第1个场景,由于2张图重建出的场景效果不是很好,图2中没有将场景1展示出来；再添加第n张图像与之前重建的场景N-1融合获得下一步的新场景,直到所有图像添加结束,重建出全部场景.

增量式SFM在对大规模场景进行三维重建时,由于误差累积会造成场景漂移以及反复地捆绑调整会耗费大量的时间,为了解决这些问题,段建伟[33]将图优化理论与增量式SFM相结合,在构造图优化模型时,将重投影误差平方和设置为代价函数从而进行优化,以达到减少误差的效果．而刘彬等[34]提出了线性的增量式SFM,与传统增量式SFM相比改进了三维重建初始像对的筛选策略,通过将局部的光束法优化、局部外点过滤以及局部三角化三者组合的方式减少误差.

不同于上述方法，2018年Cui等[11]提出了一种外环图像匹配、内环增量式校准的方法.如图3所示下方箭头为外环，上方箭头为内环.外环是一个正交匹配环，通过迭代选择图像相似图的正交MSTs(Maximum Spanning Trees)进行图像匹配，内环是一个增量式相机校准循环.在MSTs进行图像匹配时，对于每个匹配的图像对，首先估计对应的极线几何，包括第j张图像相对第i张图像的相对旋转矩阵Rij、相对平移矩阵tij，其中相机绝对位姿{Ri，Ci}与相对位姿{Rij，tij}的关系如式(1)所示，其中λij为尺度因子,Ri为相机绝对旋转矩阵，Ci为相机中心矩阵.

(1)

相对平移误差定义为

设定一个阈值β2，如果ε1，ε2大于β2，那么该匹配对被认为是错误的，在当前迭代中被忽略.实验表明即使存在多个错误匹配，但是通过上述筛选，在前三个正交MTSs中，大多数匹配对都具有精确的相对位姿估计，更适合摄像机标定[11].通过不断地图像匹配和相机标定，两个循环的收敛速度都很快并且排除了大量的冗余对，该方法在处理各种图像数据集时效率高、鲁棒性强.

1.2.2 全局式重构

全局式SFM如图4所示,它将所有图像添加到场景中,计算所有摄像机的旋转矩阵、平移矩阵和所有摄像机的位置,然后进行三角化．全局式SFM采用的是将相机相对位姿均匀分布的方法,该方法在处理大规模重建时,相机之间的相关性不同,会导致重建效果差．于是，2018年Zhu等[12]基于全局式SFM提出了一种嵌套分解的分布式框架．首先将原始的摄像机分布图分割成多个子图,对每个子图迭代至收敛;然后连接多个子图之间的变量,对连接多个子图的变量进行迭代优化．第一步优化为局部运动平均,第二步优化为全局运动平均．该方法中局部相机姿态在全局运动平均中是固定的,降低了内存占用．实验结果表明在全局式重构中加入该分布式框架具有较高的鲁棒性.

1.2.3 混合式重构

2017年，Cui等[10]提出了混合式SFM,主要思想是将前两者进行融合,利用全局式估计摄像机旋转矩阵,增量式估计摄像机位置,然后进行局部捆绑调整.

2 稠密点云重建

由于SFM用来做重建的点是由特征匹配提供的,导致匹配点稀疏,重建效果并不是很好,所以需要MVS进行完善．稠密点云重建(MVS)的目的是通过最佳方法对不同图像上的同一个点进行匹配,增强重建场景的稠密性.

2.1 一致性度量

如图5所示，假设图b中存在一点P′与图a中点P在不同视角的同一点，由于几何约束，点P与相机a的返回射线和点P′与相机b的返回射线一定相交于一点，点P所对应的点P′一定位于极线上.MVS主要任务是通过一种最佳搜索的方法，匹配不同图像的同一个点.接下来工作就是在图片上的一条线上进行探测，寻找两张图片上的同一点，主要方法为逐像素判断，由此提出了一致性度量函数.

两视图图像一致性的度量方法有:平均绝对差算法(Mean Absolute Differences,MAD)、差值平方和(Sum of Squared Differences,SSD)、绝对差值和(Sum of Absolute Differences,SAD)、归一化互相关性(Normalized Cross-Correlation,NCC)等．这三个算法大同小异,采用的方法都是遍历整个搜索图,寻找到与模块图最为相似的部分,不同的只是计算方法不一样.

为了减少搜索范围以及增加匹配率,刘小群[35]提出了基于视差梯度的区域匹配算法,该算法引入NSAD函数,同时对不同区域采用不同大小的窗口进行匹配．张一飞等[36]提出了融合边缘特征的Edge-Gray算法,该算法在SAD算法匹配之前先计算出边缘特征图,在匹配过程中融合了边缘特征图和灰度图.

2.2 深度图的计算

深度图是指将相机到场景中各点距离作为像素值的图像.在MVS中对于深度图的计算是一大重点.

2.2.1 几何法

深度图的计算方法有很多,如Yang等[37]提出了Plane-Sweeping算法,而Gallup等[13]将该算法用在三维重建中．文献[13]主要思想是将深度范围内分割一个一个平面,通过观察投影到摄像机上的点的颜色是否一致来判断这些点是否位于可见物体的表面上．但是该算法难以应对遮挡问题,另外，当纹理弱、光照变化大时还会重建出很多杂点.为了解决这些问题,Shu等[38]采用平面扫描立体的方法提出了一种深度区间估计方法:首先确定重建目标投影出的二维范围,然后将二维范围反投影到三维空间,得到多个三维平面;接着将来自其他视图的平面投影到视图j的坐标系中,视图j的深度区间等于所有平面相交的z轴的范围;最后计算每个视图的深度图．王跃嵩[39]对Plane-Sweeping算法进行了改进,使用稀疏点云来确定需要进行局部平面扫描的平面,同时提出了一种迭代的方法,该方法能够消除杂点,避免将被遮挡点的分数拉低.

Bleyer等[14]将Barnes等[40]提出的PatchMatch算法应用到了深度图计算中.PatchMatch算法通过随机初始化,按照从左到右、从上到下的方法进行传播及随机搜索,不断地进行迭代,寻找出最合适的patch,达到图像修复的目的．而Bleyer等[14]正是运用PatchMatch算法根据一个平面找到一个近似的最近邻．首先在每个像素点中存储深度值和深度值的法向量,并将深度值和深度值的法向量随机初始化,然后把相邻像素的深度值和深度值法向量转换到当前像素上得到一个空间平面,将空间平面投影到图像上,比较两者的一致性差别,若后者的一致性更优,则用相邻像素的存储值替换当前像素的存储值,如此进行传播及随机搜索．该方法得到了较好的亚像素,但是在面对缺失纹理的区域时,效果不佳．为了解决这些问题,学者们对PatchMatch算法进行了改进．Besse等[41]提出了一种方法能够解决连续性标签处理问题,同时该算法比PatchMatch更精确.该方法主要是将PatchMatch与粒子置信度传播算法整合到BP框架下．Li等[42]利用自底向上的方法设计了两层匹配,用预先训练好的卷积神经网络得到像素块的相似度,将该相似度作为底层代价,将底层代价与利用超像素块单元构建的顶层匹配代价相组合从而构建匹配能量.在视差优化过程中,与超像素间不同的是,该算法提出了利用GC(Graph Cut) 优化超像素内的每一像素点的标签,可以降低在纹理性弱的区域误匹配的概率.

2.2.2 几何与深度学习相结合的方法

Wang等[43]提出了一种双通道法生成深度图像：首先利用暗通道生成初始深度图,然后用一个互补的亮通道来识别初始深度图中可能的错误估计,最后利用语义信息训练一个深度模型对初始图像中错误的深度估计进行修正.该方法能够解释场景元素之间的高阶语义关系,具有定量与定性的优势．Huang等[15]提出了DeepMVS的方法用来计算视差图,前期需要通过SFM对相机进行校准以及得到每张图像的姿态,通过图像预处理,将参考图像和各级视差图输入到网络中,整个网络模型包括三部分:PatchMatch匹配网络、卷内特征聚合网络、卷间特征聚合网络,最后输出视差图,后续可以通过视差图求得深度图．该方法在面对纹理信息较少的区域和薄结构时相对于其他算法的效果更好,但是不能预判包含树木或草地的植被区域的差异且处理速度慢.

2.2.3 基于深度学习的方法

考虑到传统的MVS难以处理弱纹理区域、瘦小的结构以及反射和投射的表面，基于深度学习的MVS算法应运而生.前者主要通过提取深度信息计算深度图，后者主要通过机器学习算法训练模型计算深度图.2018年Yao等[16]提出了非结构化多视点三维重建网络(MVSNet).MVSnet是一个端到端的神经网络，如图6所示.第一部分将不同视角的图像输入到网络中获取输入图像的特征图.第二部分为文献[16]创新部分：通过一个基于单应变换的2D转3D的变换方法，将特征图变换到一个256个深度平面上，将转换后的3D特征图称为Feature Volume.式(2)表示将N张多视角图像变换成N个特征量，其中Deep Features为将图像卷积后提取到的深度特征.式(3)表示将第i张特征图变换到深度为d的特征平面上的单应矩阵Hi(d)，将特征图变换到特征量不同的深度平面上，至少有一个深度是正确的.其中I为单位矩阵、K为相机内部参数、R为相机旋转矩阵、t为相机位移向量、d为深度变量，n为参考图像相机的主轴.

(2)

(3)

第三部分将N个特征量通过逐个像素的方差计算合并成一个花费量.第四部分花费量经过一个四级的U-Net结构来生成一个可能量，从而得到每个深度下每个像素的可能性大小.第五部分结合上述每个像素在不同深度上的概率分布通过计算深度的数学期望得到初始深度图.第六部分将初始深度图与原图像串成一个四通道输入得到深度残差，进而与初始深度图相结合得到最终深度图.该网络框架可以适用于任意张视图输入，截止到2018年4月18日之前在公开Tanks and Temples数据集上的测试排名位居第一，其运行速度更快，不需要任何的微调，具有良好的泛化性.

在上述MVSNet中对花费量正则化占用了大量内存,使网络难以对高分辨率场景进行重建.为改进这个缺点,Yao等[44]于2019年对原来的MVSNet进行优化提出了R-MVSNet,其主要是针对MVSNet的第四部分进行了改进,如图7所示.R-MVSNet用GRU单元代替原来的3D CNN,GRU单元可以沿深度方向收集上下文信息,同时可以控制上一个深度平面的更新及重置信息的程度,这样占用的内存会大幅度减少同时效果也没有下降.

2019年Chen等[17]提出了PointMVSNet神经网络框架,主要分为两大部分．第一部分首先将不同视角的图像输入到网络中,生成粗糙深度预测图,然后转换成粗糙点云．第二部分利用图像金字塔网络提取三维点云中每个点在各视角图像中的纹理特征,构建特征增强点云,然后利用点流模型迭代出精确而稠密的点云．该方法直接将场景作为点云处理,计算量大幅度减少,保留空间连续性,精度、速度、灵活性提高显著,重建结果更为高效、精确(表2).

表2 深度图计算方法比较Table 2 Comparison of depth map calculation methods

利用基于图像的方法进行三维重建,图8为拍摄的RGB图像(通过摄像机摄取多幅不同视点的RGB图像),图9为稀疏点云重建效果,图10为稠密点云重建正面效果,图11为稠密点云重建侧面效果.

3 评价三维重建的指标

在完成三维点云重建后,需要评价三维重建结果的优劣性．三维重建的评价方法大致分为有真实模型和无真实模型两类．无真实模型的评价是通过对比输入数据与重建之后的数据一致性程度来实施的,其方法有重建误差法、积分误差法等．重建误差法通过计算输入点到重建表面点的平均欧式距离来评价,通常距离越小,误差越小,重建效果越好．重建误差法受噪声的干扰较大,当出现几个偏移较大的重建点时会影响到最后的整体结果,所以最后得到的结果较为片面．积分误差法是由Zhou等[45]提出来的,通过计算输入点到重建表面距离最近点距离的平均值进行评价,通常误差越小,重建效果越好．积分误差法虽然采用取平均的方法来避免噪声点的干扰,但是却没有考虑到其他因素．总体来说无真实模型的评价手段单一,没有考虑局部特征．Song等[46]提出了3DGiC算法,该算法无需提供真实模型,并且该算法包括了全局一致性和局部准确性,该算法的主要思想是计算局部表面描述符联合概率的累积分布,其中累积分布表示全局统计量,而局部表面描述符用于评估局部精度,将全局和局部的关联进行合并,从而得到一个更紧凑的评估.

有真实模型的评价是通过重建之后的模型与真实模型进行对比来实施的,主要方法有形状误差法、分解法、相位矩不变量法、多指标评价法等．Seitz等[47]提出了一种以准确性和完整性为指标的三维重建结果的量化评价方法,该方法需要借助设备获得物体的高精度三维数据,不利于大规模场景重建的评估,成本高、效率低．为了解决上述问题,公明等[48]提出了一种基于图像相位信息不变性的评价方法,该方法首先要获得物体在某一视点下的二维投影图及该物体在相近视点下的图像,然后对两张图像进行边缘提取,计算两张边缘图像的相位矩不变量,从而构造特征向量,最后通过比较特征向量的距离进行三维重建的评估．但是该方法计算量大,不稳定．张雯等[49]提出了一种评价三维模型几何质量的方法,将三维模型分解到基元点、基元线和基元面,以局部精度作为评价指标,通过计算点的距离偏移,线的长度插值、距离偏移、角度偏移,面的边数差、面积差值及距离偏移、角度偏移等综合数据,来评价三维重建的指标,但是该方法容易出现点的数据缺失情况.

上述的三维重建评价方法中主要有三个缺陷:

1)部分算法只能分析真实模型的场景;

2)部分算法只能测量重建的精度,但是不能测量完整性,导致评价结果存在偏差;

3)大多算法只考虑到几何精度,并没有将纹理模型的视觉精度添加到评价指标中,在某些需要视觉精度的场景中应用意义不大.

Waechter等[50]提出了一种以视觉质量为评定指标的方法,该方法将获取的图像分为训练集和评价集,使用基于图像建模的流程重构训练集,利用评价集的摄像机参数渲染视图,最后通过图像的差异性度量将这些效果图与评价集进行比较．该方法是一种灵活的评价方式,不需要重建物体的真实数据,能够评价重建物体表面的纹理质量,并且能够显示和定位重建不精确的地方.

对于三维重建结果评价的研究仍在发展的过程中,还没有十分完善．由上述文献可以看出,对三维重建效果的研究不能只针对一个因素进行评价,应该综合多个因素从局部到全局进行评价.

4 总结与展望

4.1 总结

在游戏开发、工业设计、航天航海等诸多领域,三维重建发挥着不可或缺的作用.本文基于图像的三维重建方法展开了综述，重点介绍了特征点检测与匹配、SFM重构、MVS的研究现状,还介绍了三维重建的评价指标.

基于图像的三维重建不需要精密的测量仪器,成本低,同时该方法计算出了相机的内外参数,使得重建效果更为精确,具有快速、简便、逼真的优点,能较好地实现现实事物的虚拟化,但是其仍存在一些缺点:

1)在对物体的细节特征重建上不是很理想；

2)不能重构出实时变化的场景,实时性不强,不能应用于实时地图重建的操作中；

3)基于图像的三维重建将场景中的物体都变成了二维对象,用户很难获取到需要的信息；

4)基于图像的三维重建对照相机与摄影设备也有一定要求,大量的图像文件需要足够的存储空间.

基于点云的三维重建也是一大研究热点．基于点云的三维重建需要精密的仪器,成本高,却很难达到对大规模场景进行重建的要求,但是其计算量小、精度高．基于图像与基于点云的三维重建都有各自的优点以及局限性,在今后的三维重建过程中,需要根据重建场景的规模以及自身拥有的设备等,选择合适的手段进行重建,重建得到的图像会具备更好的性能.