熊利郎，潜冬，李海珠

(中国传媒大学，北京100024)

1 引言

三维重建是依靠多次二维投影来还原三维形状的计算机技术。根据真实的场景和模型来重建出计算机可识别的几何模型，这些精确的几何三维模型可以用于虚拟漫游和虚拟现实等用途。现有的三维重建技术可分为实时技术和非实时技术。目前非实时的技术主要有:双目视差法、明暗恢复形状法、调焦法和投影光栅相位法。这些方法因为存在计算复杂，操作繁琐等问题，并不能实时的应用于三维场景的重建。目前实时的三维重建技术主要有:单激光线扫描法［1］、傅里叶变换轮廓法、彩色条纹结构光法等。实时的三维重建技术依靠设备发出光线与物体发生反射后，通过设备来接收到深度信息以完成重建。实时的三维重建方法需满足以下特性:算法效率高，处理的数据量小;算法能够有效的处理噪声;不需要人工加以修正数据。

目前能用于实时的三维重建的设备有基于结构光的 Kinect［2］，基于 Time of Flight的 Camcube［3］和Mesa Imaging SwissRanger 4000［4］。相比之下，采用结构光技术的Kinect属于消费产品，价格更加便宜，有利于大范围的推广使用。

本文第二部分对非实时的三维重建技术进行介绍和比较，第三部分是对实时的三维重建技术的分析介绍，最后一部分进行了总结。

2 非实时三维重建技术

2.1 明暗恢复形状法

明暗恢复形状法(Shape From Shading简称SFS［14］)。主要原理是利用一幅图像的灰度信息，将物体的局部或外轮廓作为约束条件，来得到其表面三维形状。SFS最早是由Horn［6］提出的，Horn把它理想化为用一阶非线性偏微分亮度方程求解的边界问题，将深度和梯度设为独立的变量，试图直接计算数值解。但是众所周知，SFS是一个病态问题，这导致了直接计算出来的结果质量较差。所以Frankot［7］等提出了可积性约束条件，将实际模型转换为光滑的理想模型，有利于下一步的数学计算。Horn和Brooks［8］后来引入了光滑性约束条件，把问题转换成泛函极值问题，用有限差分迭代来求解，最大限度地减少了亮度误差。Dupuis and Oliensis［9］提出并证明在一定约束条件下方程存在唯一的数值解。Kozera［10］提出了基于古典的 SFS平滑，同时证明了收敛性，通过假定已知的所有局部极小值(或者极大值)高度的函数来描述表面重建。90年代，Lions，Rouy 和 Tourin［11］～［12］提出了基于粘度的解决方案，保证了弱解的存在性，能够尽量保证灰度图像的连续，该解决方案适用于大多数的情况。

由于单幅图像含有的信息量较立体图像信息量小，用少量信息恢复大量信息使得这项技术从一开始就面临很大困难。传统的SFS［13］是基于一定的理想条件假设的:点光源在无限远处;具备朗伯体表面反射模型的条件;投影正交。这就导致了在自然条件下求解有很大难度。SFS方法优点在于只需要单幅图像就能恢复出物体的三维形状，但是算法本身也具有很多缺点，如:完全依靠数学计算来实现，在复杂场景或者是光照不佳的情况下恢复的效果很差，必须知道光照的方向，难以用于室外或者是复杂光源情况等。

2.2 几何光学测量法

几何光学测量法是一种重要的测量方法，与光电技术相结合，它具有精度高、响应快、无需接触等优点。几何光学法测量主要分为两种，聚焦法(Shape From Focus)和离焦法(Shape From Defocus)。因为离焦法使用的较少，所以这里主要介绍聚焦法。聚焦法要求被测点在焦距点，难点在于如何快速精确地寻找焦距点。而离焦法与之相反，需要的是根据离焦模型计算被测点相对于摄像机的距离，其难点在于如何准确地标定。由于实际测量中离焦法使用较少，这里主要介绍聚焦法。

聚焦法最早由SK Nayar提出，其主要原理是:在焦距可以任意调节的前提下，使被测物体在焦距位置，通过透镜原理求得被测物体的距离。这种方法对摄像仪器要求很高，需焦距可变，因此硬件设备复杂且昂贵，同时该方法处理速度慢，在非焦距位置测量误差较大，而且又要寻找精确的聚焦位置，难以实现实时的处理动态物体。按照常规方法，例如进行分段常数近似等来聚焦并不准确，所以Muhammad Asif［15］提出了基于神经网络权重的方法对聚焦的准确性进行改善。SO Shim［16］提出了基于组合最佳化的方法来优化形状，用局部搜索算法来初步估计物体的深度图，创建一个临时图像，比较前后图像帧得到最佳的初始深度，该算法与以往的基于FIS(Focused Image Surface 即 SFF-FIS［17］)和动态规划(Dynamic Programming 即 SFF-DP［18］)的方法相比在深度图估计的准确度和计算复杂度方面有着显著的改善。此外，该算法较最近所提出的基于扩散(SFD-DFU［19］)算法能达到质量更好的三维重建形状，而且花费的计算时间也比SFF-FIS和SFFDP的要少，该算法表现出良好的性能。美中不足的是需要更多准确的图像数据。聚焦法相比离焦法，所需要的计算复杂度更高，效果更好。

2.3 投影光栅相位法

投影光栅相位法(Phase Measuning Profilometry)［20］～［21］采用正弦光栅投影和数字相移结合。主要原理是用正弦光栅图形投影到物体表面形成漫反射，然后获得因物体的三维形状而产生的变形条纹，利用离散相移技术获得至少三幅变形光场图像，然后根据相移算法计算出相位分布，但是由于相位是被截断的、不连续的，所以还需要将截断的相位恢复成连续的才可以对物体进行重建。同时由于需要不同相位帧的图片信息，难以做到实时性。

光栅投影测量方法是一种结构光测量方法。关键在于投影技术，要有足够好的能够投影出同样质量的正弦光栅，需要较高的对比度，光强和正弦光强函数［22］。

Jielin Li［23］首次提出了严格的能分析随机的时间噪声的结构参数和重构系数，开发了一个实际的能用数学方法直接分析相位噪声的仿真模型，该模型有利于确定最佳的最高频率。K Liu［24］等人提出根据伽马模型来设置投影光栅的数量，应用伽马校正来改善和校正相位。VG Yalla［25］等又提出基于固定扫描时间的多频PMP(Phase Measuring Profilometry)技术取代传统的双频光栅进一步缩小了相移误差。

3 实时三维重建技术

3.1 单激光线扫描法

三维激光扫描主要通过旋转扫描器来对物体进行360度全方位扫描来获取物体表面的点云深度数据。工作原理是由激光发射器发射出一个激光束到目标物体同时接收机启动并开始计时，当激光束到达被扫描目标物体的表面时发生反射，部分反射激光束返回到探测器。探测器将接收到的脉冲强度转化为电流同时时间停止，并根据发射和接收之间的时间间隔进行测量。

三维激光扫描技术［26］不仅克服了传统测量的局限性，不需要通过接触便可扫描出物体的长宽高，同时将所得到的数据转化为计算机可以处理的三维数据模型，而且在这方面拥有许多独特的优势:数据获取速度快，实时性强;数据量大，精度较高;信息传输、转化、处理容易。作为现今最成熟的三维重建方法，单激光线扫描法在很多方面都有应用，例如保护古建筑物［27］，或者是对建筑物进行特征点的提取［28］。该方法的难点在于如何合理地处理已得到的大量扫描数据。

我国科研使用的常见仪器如TH-3DLCS-2001三维激光成像扫描仪，清华大学的金鑫，孙卫东［29］还提出基于该仪器的激光同步扫描图像的三维景物纹理映射方法，可在不固定相机位置的情况下，在改善纹理映射精度的同时保持系统的灵活性，在估计相机参数基础上通过两步法对映射误差进行了估计和补偿，完成了高分辨率和高精度纹理映射。这种方法使得扫描后的模型不是空白的模型而是带有本身纹理映射的，这点对于三维重建而言是很重要的一部分。

3.2 基于彩色条纹结构光法［30］～［31］

彩色条纹结构光法是基于彩色结构光的RRCS［32］(Real-time 3D Reconstruction Based on Color-coded Structured Light)。主要原理是投影彩色条纹到物体表面，然后采集不规则的彩色条纹，同时与从图像中的观察到的边缘进行匹配，根据不同颜色条纹的扭曲程度计算出物体的三维形状。彩色条纹避免了黑白光条由于光线明暗或者是其他原因造成的亮度测量误差，能够从一副图像或多幅图像中恢复物体形状。L Zhang［33］提出了一种通用的多通道动态规划算法，能够用于高速扫描移动中的物体和需要高分辨率的静态场景。Dalit Caspi［34］在权衡鲁棒性和采集时间后，提出了能够根据场景特点自适应投影模式和数量的方法，能够产生接近于实际噪声的模型，从而将投影图案的数量降低到必要的限度，达到格雷码技术［35］的精度和鲁棒性，与之前方法的不同之处主要是不需要假设场景平滑和彩色是呈中性的这个理想前提。在获得的彩色结构光像素与物体边缘对齐方面，Daniel Scharstein［36］等提出不需要校准光的方法，利用投影光线与所有摄像机所产生的时差进行计算来得到对齐结果。Thomas P.Koninckx，Luc Van Gool［37］等人提出自适应结构光方法，结合了几何编码和彩色编码，通过权重来平衡速度和质量。

RRCS的优势在于仅需一帧便能复原模型，而光栅相位法至少需要三帧，此外RRCS的动态效果处理真实，实时性佳，并且由于只检测了边缘部分，颜色纹理的质量不影响最终结果的好坏，鲁棒性好。但该方法的劣势在于在精度方面比光栅相位法低。

3.3 复合结构光测量法

傅里叶轮廓变换法(FTP)最早由M Takeda，K Mutoh［38］提出，主要原理是通过对频域中的包含物体深度信息的基频分量进行逆傅里叶变换，获得物体的深度分布。该方法基于条纹投影，频谱面的带通滤波能够抑制噪声及背景光强不均匀等因素的影响，具有很大的灵活性。而采用正弦投影和π相移技术可以消除高频分量的影响，提高测量的精度。但是这种方法需要精确到π个相位差的两帧条纹，因此并不适用于实时的三维重建。因此，在文献［39］中提出了复合结构光测量法，仅从一帧图像中便能获得物体形状。借助这种思想，有学者将其应用到了傅里叶变换轮廓中［40］，通过投影两个频率不同的载频，分别与其方向垂直的两帧具有π个相位差的条纹相互叠加，只需要一帧条纹图便能使傅里叶变换轮廓法能够应用与动态场景中。苏显渝［41］提出一种在数字加权滤波和调制度分析基础上形成可靠性控制模板，并按可靠度排序进行位相展开的方法。此方法可以同时保证得到的位相精度和位相展开的可靠性，适合用于复杂物体表面的重建。

3.4 双目视差法

双目视差法［42］又称为双目视觉法［43］，主要原理是通过两台在同一高度的摄像机从不同方向观察同一物体，在不同角度下获得的视差信息转化为深度信息的三角测量法。由于纯粹使用被动立体视觉来恢复物体形状需要物体具有明显的特征点。而对于特征点太少的物体则需要对整个物体进行比较，运算量较大，而且计算出来的精度也达不到要求，容易产生误匹配［44］。所以在一般情况下需要分步骤来进行，图像获取，摄像机标定，预处理，立体匹配，点云建模。双目视差法的问题在于每一步都可能存在误差问题，特征点寻找不准确造成误差，立体匹配误差，计算三维坐标的误差［45］等，每一步都对最终生成的深度信息有影响。而且目前由于匹配的时候计算量过大，导致无法进行良好匹配，对重建效果有影响。

4 总结

下图为各种方法的比较，包括应用环境，复杂程度等。

方法 复杂程度 实时性 重建效果 应用情况明暗恢复形状法对环境要求严格，难仅需要一幅图像，但对图像要求高，复杂度虽然高，但可完全自动处理 非实时性 在复杂光源情况下或者不知道光照以用于室外场景几何光学测量法方向的情况下，恢复的效果很差。难以用于纹理较少对摄像仪器要求很高，需要人工调节非实时性 效果比较精细，能计算到每个点的深度 的物体投影光栅相投影与物体较远，光线不能太强烈单激光线扫位法 需要至少3幅变形光场图像 非实时性 精度较高，但要求背景光不能太强烈描法 设备比较复杂 实时性 效果精细，比较快速 适用于室内的小型物体彩色条纹结构光法 仅需要一幅图像 实时性 精度低，但是抗干扰性好，不受纹理颜色的影响适用于颜色跨度比较大，结构性变化大的物体复合结构光测量法仅需要一帧图像中获得物体形状 实时性 精度较高 投影与物体较远双目视差法 设备复杂，重建时间比较长 实时性 在离摄像机距离合适的情况下效果较好可以应用到大多数情况下

三维重建一直是计算机视觉领域的热点问题，各种三维重建的方法不断出现，相比于静态的三维重建，有时候可能更需要实时的三维重建。本文着重论述了在实时性方面，不同方法的优缺点，实时性好的方法能够极大的节约人力资源和提高效率。

此外仍旧有一些可以进行尝试的地方如:室外大规模场景重建，包括城市建设等;非刚体物体的重建，如火焰等一直无法得到重大突破。

在重建方法上需要改进的地方有如下几点:(1)计算量过大，比较消耗资源;(2)抗干扰性不强，易受到各种噪声的影响;(3)对背景光线等方面的要求，过于理想化，不符合实际情况。

除了激光线扫描法因为较成熟的原理，已在全世界范围内推广，人们对其有一定的认知度，其他方法距离商用还有很长一段距离。因此，在未来一段时间内，我们还需要在三维重建这一领域做出更多更深入细致的研究。

［1］Izquierdo M A G，Sanchez M T，Ibanez A，et al.Sub-pixel measurement of 3D surfaces by laser scanning［J］.Sensors and Actuators A:Physical，1999，76(1):1-8.

［2］Leyvand T，Meekhof C，Wei Y C，et al.Kinect identity:Technology and experience［J］.Computer，2011，44(4):94-96.

［3］Xiang Xueqin.Depth Camera in Computer Vision and Computer Graphics:An 0verview ［J］.Journal of Frontiers of Computer Science and Technology，2011，5(6):481-492.

［4］Chiabrando F，Chiabrando R，Piatti D，et al.Sensors for 3d imaging:Metric evaluation and calibration of a ccd/cmos time-of-flight camera［J］.Sensors，2009，9(12):10080-10096..

［5］李健，梁琨.基于明暗恢复法的三维重建算法分析［J］.微计算机信息，2006，8(1):202-204..

［6］Horn B K P.Obtaining shape from shading information［M］.Massachusetts:MIT press，1989.

［7］Frankot R T，Chellappa R.A method for enforcing integrability in shape from shading algorithms［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1988，10(4):439-451.

［8］Horn B K P，Brooks M J.The variational approach to shape from shading［J］.Computer Vision，Graphics，and Image Processing，1986，33(2):174-208.

［9］Dupuis P，Oliensis J.An Optimal control formulation and ralated numerical methods for a problem in shape reconstruction［J］.The Annals of Applied Probability，1994，4(2):287-346.

［10］Kozera R.Uniqueness in shape from shading revisited［J］.JMIV，1997，7(2):123-138.

［11］P.-L.Lions，Rouy E，Tourin A.Shape-fromshading，viscosity solutions and edges［J］.Numer Math，1993，64:323-353.

［12］Rouy E，Tourin A.A Viscosity Solutions Approach to Shapefrom-Shading［J］.SIAM J of Numerical Analysis，1992，29(3):867-884.

［13］Belhumeur P N，Kriegman D J，Yuille A L.The bas-relief ambiguity［J］.International Journal of Computer Vision，1999，35(1):33-44.

［14］Nayar S K，Nakagawa Y.Shape from focus［J］.IEEE Transactions on Pattern analysis and machine intelligence，1994，16(8):824-831.

［15］Asif M，Choi T S.Shape from focus using multilayer feedforward neural networks［J］.IEEE Transactions on Image Processing，2001，10(11):1670-1675.

［16］Shim SO，Choi T S.A novel iterative shape from focus algorithm based on combinatorial optimization［J］.Pattern Recognition，2010，43(10):3338-3347.

［17］Choi T S，Yun J.Three-dimensional shape recovery from the focused-image surface［J］.Optical Engineering，2000，39(5):1321-1326.

［18］Ahmad M B，Choi T S.A heuristic approach for finding best focused shape［J］.IEEE Transactions on Circuits and Systems for Video Technology，2005，15(4):566-574.

［19］Lutz C，Kollmann M，Bechinger C.Single-file diffusion of colloids in one-dimensional channels［J］.Physical review letters，2004，93(2):026001.

［20］Srinivasan V，Liu H C，Halioua M.Automated phase-measuring profilometry of 3-D diffuse objects［J］.Applied optics，1984，23(18):3105-3108.

［21］颜国霖，林琳.基于光栅相位法三维重构技术研究［J］.机电技术，2010，33(5):14-17.

［22］潘伟，赵毅，阮雪榆.相移法在光栅投影测量中的应用［J］.应用光学，2003，24(4):46-49.

［23］Li J，Hassebrook L G，Guan C.Optimized twofrequency phase-measuring-profilometry light-sensor temporal-noise sensitivity［J］.JOSA A，2003，20(1):106-115.

［24］Liu K，Wang Y，Lau D L，et al.Gamma model and its analysis for phase measuring profilometry［J］.JOSA A，2010，27(3):553-562.

［25］Yalla V G，Hassebrook L G.Very high resolution 3D surface scanning using multi-frequency phase measuring profilometry［C］//Defense and Security，International Society for Optics and Photonics，2005:44-53.

［26］N T Thanh，刘修国，王仁平，等.基于激光扫描技术的三维模型重建［J］.激光与光电子学进展，2011，48(8):81201.

［27］刘旭春，丁延辉.三维激光扫描技术在古建筑保护中的应用［J］.测绘工程，2006，15(1):48-49.

［28］李必军，方志祥，任娟.从激光扫描数据中进行建筑物特征提取研究［J］.武汉大学学报:信息科学版，2003，28(1):65-70.

［29］金鑫，孙卫东.基于激光同步扫描图像的三维景物纹理映射［J］.仪器仪表学报，2006，27(6):2084-2085.

［30］吴成东，耿飞，楚好，等.基于彩色条纹结构光的物体三维重建方法［J］.东北大学学报:自然科学版，2009，30(7):928-931.

［31］黄俊春，章炯民.基于彩色结构光的实时三维重建［J］.计算机应用与软件，2009，26(12):235-237.

［32］Chen SY，Li Y F，Zhang J.Vision processing for realtime 3-D data acquisition based on coded structured light［J］.IEEE Transactions on Image Processing，2008，17(2):167-176.

［33］Zhang L，Curless B，Seitz S M.Rapid shape acquisition using color structured light and multipass dynamic programming［C］.3D Data Processing Visualization and Transmission，2002.IEEE First International Symposium on Proceedings，2002:24-36.

［34］Caspi D，Kiryati N，Shamir J.Range imaging with adaptive color structured light［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(5):470-480.

［35］Sato K，Inokuchi S.Three-dimensional surface measurement by space encoding range imaging［J］.Journal of Robotic Systems，1985，2:27-39.

［36］Scharstein D，Szeliski R.High-accuracy stereo depth maps using structured light［C］.2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Proceedings，2003，1:I-195-I-202.

［37］Koninckx T P，Van Gool L.Real-time range acquisition by adaptive structured light［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(3):432-445.

［38］Takeda M，Mutoh K.Fourier transform profilometry for the automatic measurement of 3-D object shape［J］.Applied optics，1983，22(24):3977-3982.

［39］Guan C，Hassebrook L，Lau D.Composite structured light pattern for three-dimensional video［J］.Optics Express，2003，11(5):406-417.

［40］岳慧敏，苏显渝，李泽仁.基于复合光栅投影的快速傅里叶变换轮廓术［J］.光学学报，2005，25(6):767-771.

［41］苏显渝，谭松新.基于傅里叶变换轮廓术方法的复杂物体三维面形测量［J］.光学学报，1998，18(9):1228-1233.

［42］黄俊春.基于结构光的实时三维重建［D］.华东师范大学，2009.

［43］Blake R，Wilson H.Binocular vision［J］.Vision research，2011，51(7):754-770.

［44］李玲.基于双目立体视觉的计算机三维重建方法研究［D］.武汉:武汉大学，2005.

［45］罗世民，李茂西.双目视觉测量中三维坐标的求取方法研究［J］.计算机工程与设计，2006，27(19):3622-3624.