王巧丽，徐增波，张 玲

(上海工程技术大学 纺织服装学院，上海 201620)

三维重建一直是计算机视觉、图形学、医学及信息科学等领域研究的热点，如在视觉方面的人工智能、无人驾驶、虚拟现实[1]；在医学治疗中利用CT三维重建技术对病情的诊断[2]。采用基于不同视角的二维图像进行三维重建的方法凭借其设备成本低、条件约束少和建模精度高等优势迅速成为一个热点研究方向[3]，而运动恢复结构(Structure From Motion，SFM)是该技术的关键内容，基于此，本文系统地阐述了基于SFM三维重建技术的研究现状，影响其建模精度的理论基础，该技术的原理、方法对比及在各领域的应用，并提供了该技术在服装领域的应用新思路。

1 三维重建概述

1.1 主流的三维重建方法

目前三维重建主要有3种方法[4]：第1种是使用三维建模软件创建三维模型，常用软件如3dsMax、Maya等，此方法成本低，但耗时大且模型较粗糙。第2种是通过三维扫描设备获取目标模型，该设备一般采用激光、结构光及红外深度传感等技术，这种重建方法扫描快速且精准度高，但设备价格高昂、体积大，因而无法实现对目标物体随时随地进行数据采集。第3种是基于图像的三维重建，其主要思想是通过手机或摄像机拍摄不同视角的二维图像，来重建物体或场景的三维模型。相较于前2种建模方法，该方法只需要普通的RGB摄像头来采集图像或视频，人力物力资源消耗少，在室内和室外均能使用，极大地弥补了三维扫描仪不便携带和受环境约束多的缺点，因此，近年来采用SFM技术进行三维重建的应用越来越广泛。

1.2 基于SFM三维重建国内外现状

基于多视图三维重建的研究最早起源于20世纪70年代发达国家，Longuet-Higgins[5]提出该研究后，众多研究者纷纷开始对其进行更深一步的研究。早期的SFM技术在进行重建时，需对摄像机提前进行标定(即计算摄像机的内外参数)，才可以输出场景三维结构的信息。文献[6]在图像采集过程中基于Kurppa原理实现了摄像机自动标定方法。

国内学者在近20年里对基于多视图的三维重建技术取得了一定的研究成果。王楠[7]基于SFM原理，将改进的随机抽样一致(Random Sample Consensus，RANSAC)算法应用到匹配点优化和建筑物的三维重建中，最终恢复出摄像机的相对位姿及三维场景位置信息。李永露[8]以大型无人机航拍影像作为数据输入，综合改进SFM算法和其他三维重建开源技术构建出了无人机影像三维重建原型系统，该系统能自动处理人机影像的各种数据，可有效满足一定的大型无人机航拍影像三维重建模型的需求。张昕[9]在基于视频序列的三维模型重建研究中，优化了传统特征匹配方法，最后创建出不同角度的地球仪和爱因斯坦雕塑的稠密点云模型。

2 基于SFM重建的理论基础

基于SFM重建的理论基础主要有摄像机成像原理、多视图几何及相机标定等，本文主要从影响基于SFM建模精度的因素出发，对相机标定和光束平差法两方面进行阐述。

2.1 相机标定

从二维图像中映射出物体的空间坐标系值，需知道相机的参数，而相机的参数要通过相机标定来求得，精确的相机标定对后续计算三维空间坐标系的精准度有着直接影响。目前，相机标定方法可分为传统标定方法和自标定方法[10]。

2.1.1 传统标定方法

传统标定的方法是通过标定物上三维坐标点与拍摄图像点之间的对应关系进而得到相机内参数。目前常用一张二维黑白棋盘作为标定板，标定精度较高。常用的标定方法有张正友标定法[11]和基于径向约束(Radial Alignment Constraint，RAC)的两步标定法[12]。

2.1.2 摄像机自标定法

摄像机自标定法的原理是通过多幅图像之间的几何约束关系来确定相机的内参数。该方法不需要特定的参照物，对采集环境要求不高，但较传统标定物作参照的方法精度低，常用于精度要求不高的大规模场景重建中。自标定方法有基于Kruppa方程自标定法[6]和分层逐步标定法[13]。传统标定法和自标定法的对比如表1所示。

表1 传统标定法和自标定法对比

2.1.3 张正友标定法

张正友标定法[11]的原理是以二维棋盘格作为参照模板的标定方法，通过拍摄不同角度的棋盘格标定板图像序列，进而从图像中提取出棋盘格特征点，利用这些特征点与三维空间中对应点的坐标关系求出摄像机的内外参数，从而实现相机标定。该标定法弥补了传统标定法中高精度标定物操作繁琐的不足，同时比自标定方法精度高，因此，该方法被广泛应用于相机标定中。

2.2 光束平差法

在利用SFM原理进行三维重建时，由于噪声点的干扰，出现累计误差，常用最小二乘解决最优解的问题。光束平差法[14]即 Bundle Adjustment(BA)本质上是一种非线性最小二乘优化方法，该方法的原理是使反投影像点(三维点经估计透视投影矩阵反投影回图像上后得到的点)到真实像点的距离最小。距离越小，即估计透视投影矩阵和三维点坐标的误差越小，该法原理函数见式(1)：

虽然银行界人士纷纷表示不存在“暴利”，多数专家也认为短时间来对比各行业的盈利差距并不科学，但是，在目前国内外实体经济不景气，特别是广大中小企业生存艰难的大背景下，银行业利润的高歌猛进着实让人觉得有点不太正常。笔者认为，银行业当前利润与实业企业利润冰火两重天，是一种“畸高”，是不可持续的，需要对其进行深入研究，从而实现我国银行业的稳健经营和国民经济的协调发展。

(1)

式中：M为透视投影矩阵；P为三维点；pij为真实像点；p(Mij,Pij)为反投影像点；E(M,P)为真实像点和反投影像点之间的距离。BA的目的是使真实像点和反投影像点之间的距离最小化，通过该方法减少误差积累，求解鲁棒性能显著提高。

3 基于SFM重建的原理和方法

3.1 基于SFM重建的原理

基于SFM重建的基本原理是通过采集设备(手机或相机)的位置移动，对静态场景拍摄不同视角的图像序列，求解相机的位置和姿态，进而恢复场景的三维信息[15]。

图1 运动恢复结构的基本原理

基于SFM算法进行三维重建的基本原理可以描述为:首先采集不同视角的视频序列或图像序列并进行特征点检测和匹配，同时保留满足几何约束的匹配；然后执行SFM方法来恢复摄像机的内外参数，并由三角化得到三维点坐标，最后使用BA进行优化。

目前SFM在三维场景的重建中有其局限性，一般用于场景静止或较少刚性运动而相机运动条件下的深度恢复，为提高重建精度和效率，提出以下拍摄要求：①选择有良好纹理的背景，避免拍摄完全无纹理的场景(如白墙、白桌子)；②在光照均匀的条件下拍摄图像，避免在光线变化太明显时拍摄(如阴天)；③避免在目标物体及场景中高动态的运动时拍摄，如人手臂、上半身的晃动、场景中有摇动的树枝等；④为保证重建的模型精度更高，需获取目标物体全方位视角的图像，以确保重要信息不丢失，因而，需要对目标物体采集至少3 张不同视角的图像。

3.2 主流的SFM重建的方法

根据SFM过程中图像添加先后顺序不同，将SFM重建方法分为3种，分别为：增量式(Incremental SFM)、全局式(Global SFM)、混合式(hybrid SFM)[16]。

3.2.1 增量式SFM

图2 增量式SFM技术流程图

3.2.2 全局式SFM

全局式SFM和增量式SFM的原理类似，最大的不同点是该方法一次性加入所有图像，进而完成对所有图像的重建。

3.2.3 混合式SFM

混合式SFM是增量式SFM和全局式SFM 2种方法的叠加[18]，其原理是先利用全局式SFM得到相机的外参，再用增量式SFM求解相机的位置，最后利用三角定位恢复场景三维信息，同时利用BA对重建模型进行优化。

综上所述，全局式SFM弥补了增量式SFM的误差大和效率低的不足，但比增量式SFM的建模精度较低，混合式SFM在求解位移矩阵时容易出现误差，增量式方法因重建精度高而应用更广泛。

3.3 基于SFM重建的应用

由于SFM方法重建出的模型精准度高、建模效率快，进而应用在各个领域，本文主要从大型建筑物重建、人体模型重建、农作物重建及医疗方面阐述。

3.3.1 建筑物重建

李聪聪[19]使用大型无人机对某大学建筑物正面拍摄不同视角的图像集，采用增量SFM 法恢复每个相机的参数，同时用BA优化，采用多视图立体视觉(Multi View System，MVS)重建稠密点云，再用浮动尺度表面重建算法(Floating Scale Surface Reconstruction，FSSR)[20]重建场景的表面网格模型，最终重建出完整的建筑物正面的表面模型,重建模型逼真。另外基于SFM原理对城市街区的重建、无人机摄影的农村房屋的重建及古建筑破损修复的重建等。

3.3.2 人体模型重建

张照[21]在基于SFM的人体模型三维重建关键技术研究中，使用摄像机对3个目标人体拍摄不同视角的图像序列，重构出效果逼真的人体模型，重建精度高。

3.3.3 农作物重建

吴丹[22]在对水稻三维重建中采用SFM技术，采集不同生长时期高度不同的玉米植株在不同视角下图像序列，实现对单珠玉米的三维重建，同时利用 ICP 算法实现高大玉米植株拼接重建。

3.3.4 医疗方面

李震一[23]在运动恢复理论的基础上，计算出摄像机内外部参数，最终完成基于血管图像的三维重建，为后续获得增强现实效果的医学奠定了基础。王洋等[24]用相机拍摄牙齿序列图像，采用运动恢复结构(SFM)和多视图面片(Patch-based Multi-view Stereo，PMVS)2种方式结合的方法，完成了基于多视图面片的牙模三维重建。另外基于SFM的重建在沙堆内尺寸测量、多尺度床河工模型结构的三维重构、江水涌潮时变化的三维重建、园林果树的三维结构重建等方面也有所应用。

4 结束语

本文通过对比分析传统三维建模技术的优缺点，得出传统三维模型重建存在建模粗糙、设备成本高等问题，而基于SFM进行三维重建的方法具有成本低、建模精度高且受环境约束少等优势,成为目前三维重建技术研究的热点。该方法在三维人体建模方面也有应用，目前手机已成为人们随身携带的必备工具，可以考虑通过手机对人体进行视频拍摄的方式采集全方位视角的人体图像，基于SFM三维重建技术实现三维人体模型重建，并对该模型完成人体尺寸的测量，可以考虑开发一款三维人体测量技术的APP或小程序，满足顾客随时随地测体的需求，对消费者的量身定制和服装企业团体定制具有实用的价值意义。