王国珲，谢　倩

(西安工业大学 光电工程学院，西安 710021)

明暗重建形貌(Shape from Shading，SFS)是计算机视觉中三维形貌重建问题的关键技术之一[1].SFS方法基于辐射度学与光度学的基本理论，通过求解摄像机获取到图像灰度与三维表面形貌信息之间建立的图像辐照度方程，得到物体表面各点的法向向量或高度值[2].由于SFS方法仅使用单个摄像机采集单个光源照射下物体表面的图像，设备简单，适应性强，广泛应用于月面与火星表面形貌重建[2-3]，文档图像校正及复原[4]，医学图像三维重建[5-6]，人脸与指纹等形貌重建[7-8]等领域.

SFS方法最早是由麻省理工学院学者Horn提出[2]，在此研究基础上经过许多年的发展，出现了多种多样的算法.文献[9]通过将反射图函数展开，只保留函数中起主导作用的低阶项，使非线性问题近似为线性问题，从而将SFS转化成方便求解的线性方程问题.文献[10]对物体表面的局部形状进行假设，认为其满足二次曲面形式，通过将表面反射模型与假设的局部形状结合起来，构建关于局部形状参数的偏微分方程组，然后利用已知的边界条件来求解该方程组从而得到物体表面的三维形貌.文献[2-3,5]将SFS方法中的图像辐照度方程表示为能量函数形式，然后通过附加亮度约束、光滑性约束或可积性约束等约束条件将其转化为泛函求极值的问题.文献[1,4,6]是对SFS方法建立的一阶非线性PDE本身直接求解，从图像中一个或一组已知高度值的奇异点或边界点出发，遍历整幅图像，最终确定出所有像素点对应的物体表面的形貌信息.以上SFS方法在建模、求解过程中都是基于三维笛卡尔坐标系.若摄像机采用正交投影模型时，由于物体表面各点法向向量的计算式较为简单，此时建立的图像辐照度方程也相对容易求解.然而，实际成像过程中摄像机的成像特性接近于透视投影模式，在这种情况下物体表面各点法向向量的表达式包含梯度、焦距、三维形貌等多个参量，由此建立的图像辐照度方程非常复杂，且求解过程繁琐.

本文提出了一种基于球面坐标的近点光源透视投影SFS(Perspective SFS，PSFS)三维形貌重建方法.在三维笛卡尔坐标系下对PSFS方法进行了建模，给出了基于笛卡尔坐标的图像辐照度方程.阐述了在球面坐标系下PSFS的建模与求解过程，涉及到物体表面各点法向向量、光线方向向量的计算，图像辐照度方程的构建与求解，并与基于三维笛卡尔坐标的PSFS方法进行了对比，通过实验对提出的PSFS方法进行了验证.

1　三维笛卡尔坐标系下PSFS方法

如图1所示，建立以摄像机镜头的投影(入瞳)中心为坐标系原点的三维笛卡尔坐标系O-X1X2Z：镜头的光轴为Z轴，坐标系的X1轴、X2轴分别与图像传感器像元水平排列方向、竖直排列方向平行；摄像机的成像平面(图像传感器)位于Z=-f处，f为经过标定的镜头焦距[1].

图1　基于三维笛卡尔坐标的PSFS方法

实际成像过程中摄像机的成像特性接近于透视投影模式，在这种情况下物体表面某一点(X1,X2,Z(X))在成像平面的投影为x=(x1,x2)，依据透视投影成像特性有：

(1)

(2)

(3)

本文仅考虑近点光源位于摄像机镜头的入瞳中心附近，即坐标系的原点O处，此时过(X1,X2,Z(X))点的光线单位方向向量为

(4)

(5)

式中：θi为物体表面上任意一点(X1,X2,Z(x))处的法向向量n(x)与光线方向向量L(x)之间的夹角；ρ为物体表面的反射率；η∶Ls→Ei(x),g∶Ei(x)→I(x)分别为物体表面辐射亮度Ls与图像传感器接收到的辐照度Ei(x)以及Ei(x)与图像传感器输出的灰度信息I(x)之间的函数关系，摄像机经过校正后η和g服从线性关系.

将式(3)和式(4)代入式(5)，并令R(x)=lnr(x)，可以得到基于笛卡尔坐标的图像辐照度方程式

(6)

物体表面的三维形貌Z(X)可以通过求解图像辐照度方程(6)中的R(x)来获得，式(6)是一个非常复杂的一阶非线性偏微分方程，求解较为困难且求解过程繁琐.

2　球面坐标系下PSFS方法

针对在三维笛卡尔坐标系下建立的图像辐照度方程(6)较为复杂且难以求解的情况，分析了物体表面三维形貌的参数化形式(2)中X1,X2和Z(X)均与点(X1,X2,Z(X))到坐标系原点O的距离r(x)有关，同时受文献[11-12]启发，建立了基于球面坐标的图像辐照度方程.

2.1　物体表面三维形貌的球面参数化

建立如图2所示的球面坐标系(r,θ,φ)，其原点O位于近点光源位置处，图中r,θ,φ为球面坐标系的基坐标.物体表面上任意一点(X1,X2,Z(X))在球面坐标系(r,θ,φ)下可参数化为

(7)

根据微分几何曲面理论，物体表面上点(X1,X2,Z)在θ方向的切向矢量为

(8)

在φ方向的切向矢量为

(9)

于是，物体表面点(X1,X2,Z(X))(即(r,θ,φ))处的法向向量可表示为

(10)

图2　基于球面坐标的PSFS方法

由物体表面上任意一点(r,θ,φ)参数化表达式(7)求偏微分，可以得到

(11)

将式(11)代入式(10)，经计算可得物体表面点(r,θ,φ)处的法向向量为

n(r,θ,φ)=

(12)

2.2　基于球面坐标的图像辐照度方程

由于光源位于球面坐标系(r,θ,φ)的原点O处，光源入射到物体表面上点(X1,X2,Z(X))的光线单位方向向量为

(13)

根据式(5)，得到基于球面坐标的图像辐照度方程

(14)

经过简单推导，式(14)可以得到

(15)

2.3　偏微分辐照度方程求解

进一步，可以发现图像辐照度方程式(15)是关于r的一个Eikonal类偏微分方程.令

(16)

将式(16)代入式(15)，经过整理偏微分辐照度方程式(15)变为

(17)

③ 利用文献[15]中提出的FMM方法对偏微分辐照度方程(17)进行求解；

④ 将求解结果转换为Z(X)，即得到物体的三维形貌并输出重建结果.

3　仿真结果与分析

为了验证基于球面坐标的PSFS方法的有效性，利用已知三维形貌的球体和花瓶图像进行了仿真实验，并将实验结果与基于三维笛卡尔坐标的PSFS方法进行对比.

3.1　球体图像的三维重建

已知三维形貌的球体图像使用如下函数生成：

(18)

式中：(X1,X2)∈[-127,128]×[-127,128]，R为球体的半径，本文取R=90.球体图像的仿真实验结果如图3所示.

图3(a)是使用函数(18)生成的球体灰度图像，其中近点光源位于摄像机镜头的入瞳中心(0,0,0)处，镜头焦距f=25，物体的基准面与入瞳中心距离为250；图3(b)是真实的球体三维形貌；图3(c)为本文基于球面坐标的PSFS方法重建的球体三维形貌；图3(d)是重建值图3(c)与真实值图3(b)之间的三维形貌误差图；图3(e)为基于三维笛卡尔坐标的PSFS方法(利用作者在文献[6]中提出的算法进行求解)重建的球体三维形貌；图3(f)是重建值图3(e)与真实值图3(b)之间的三维形貌误差图.

3.2　花瓶图像的三维重建

已知三维形貌的花瓶图像使用如下函数生成：

(19)

式中：f(X1)=0.15-0.025(2X1-1)(3X1-2)2(2X1+1)2(6X1+1)，(X1,X2)∈[-0.5,0.5]×[-0.5,0.5].将X1，X2映射到区间[-127,128]，同时将高度Z扩大256倍，此时花瓶的最大高度值为73.10.花瓶图像的仿真实验结果如图4所示.

图3已知三维形貌的球体图像重建结果

Fig.3Recovery results of the ball image with known 3D shape

图4　已知三维形貌的花瓶图像重建结果

图4(a)是使用函数(19)生成的花瓶灰度图像，同图3一样近点光源位于摄像机镜头的入瞳中心(0,0,0)处，镜头焦距f=25，物体的基准面与入瞳中心距离为250；图4(b)是真实的花瓶三维形貌；图4(c)为本文基于球面坐标的PSFS方法重建的花瓶三维形貌；图4(d)是重建值4(c)与真实值4(b)之间的三维形貌误差图；图4(e)为基于三维笛卡尔坐标的PSFS方法(利用作者在文献[6]中提出的算法进行求解)重建的花瓶三维形貌；图4(f)是重建值4(e)与真实值4(b)之间的三维形貌误差图.

3.3　三维重建结果分析

由图3和图4所示的球体和花瓶图像重建结果能够看出，基于球面坐标的PSFS方法和基于三维笛卡尔坐标的PSFS方法均可以获得较好的三维重建结果.进一步观察三维形貌误差图3(d)和3(f)以及4(d)和4(f)可以发现，与基于三维笛卡尔坐标的PSFS方法相比，基于球面坐标的PSFS方法可以获得较高的重建精度.

为了定量地比较重建结果，使用高度平均相对误差MRE(20)对基于三维笛卡尔坐标的PSFS方法和基于球面坐标的PSFS方法进行了比较

(20)

由图3和图4所示的重建结果以及高度平均相对误差可以得出本文基于球面坐标的PSFS方法可以获得较高的重建精度，其高度平均相对误差均降低了0.02%.另外，基于球面坐标的PSFS方法求解过程中需要奇异点的真实高度值作为初始赋值.

4　结 论

传统的笛卡尔坐标建立的PSFS图像辐照度方程形式复杂、求解困难，提出了一种基于球面坐标的近点光源PSFS三维形貌重建方法.在三维笛卡尔坐标系下对PSFS方法进行了建模，使用透视投影对摄像机的成像特性进行了描述，符合实际的成像过程；在球面坐标系下构建了Eikonal类偏微分辐照度方程，表征了摄像机获取到的图像灰度与物体三维表面形貌信息之间的对应关系；将偏微分辐照度方程转换为标准型的Eikonal方程.与基于三维笛卡尔坐标的PSFS方法相比，基于球面坐标的PSFS方法建立的辐照度方程求解相对简便，并可获得较高的重建精度.由于物体表面的反射特性还存在非朗伯反射情况，下一步将研究基于球面坐标PSFS的非朗伯表面三维形貌重建方法.

参考文献：

[1]王国珲,宋玉贵.一种非朗伯表面SFS的快速粘性解算法[J].仪器仪表学报,2015,36(7):1577.

WANG Guohui,SONG Yugui.A Fast Viscosity Solution Algorithm of Shape from Shading for Non-Lambertian Surfaces[J].Chinese Journal of Scientific Instrument,2015,36(7):1577.(in Chinese)

[2]HORN B K P.Robot Vision [M].王亮,蒋欣兰，译.北京:中国青年出版社,2014.

HORN B K P.Robot Vision[M].WANG Liang,JIANG Xinlan,Translated.Beijing:China Youth Press,2014.(in Chinese)

[3]O’HARA R,BARNES D.A New Shape from Shading Technique with Application to Mars Express HRSC images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,67:27.

[4]ZHANG L,YIP A M,BROWN M S,et al.A Unified Framework for Document Restoration Using Inpainting and Shape-from-shading[J].Pattern Recognition,2009,42(11):2961.

[5]GONCALVES N,ROXO D,BARRETO J,et al.Perspective Shape from Shading for Wide-FOV Near-lighting Endoscopes[J].Neurocomputing,2015,150:136.

[6]WANG G H,HAN J Q,ZHANG X M.Three-dimensional Reconstruction of Endoscope Images by a Fast Shape from Shading Method[J].Measurement Science and Technology,2009,20(12):125801.

[7]HERNANDEZ-RODRIGUEZ F,CASTELAN M.A Photometric Sampling Method for Facial Shape Recovery[J].Machine Vision and Applications,2016,27(4):483.

[8]KUMAR A,KWONG C.Towards Contactless,Low-cost and Accurate 3D Fingerprint Identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):681.

[9]ULICH G.Provably Convergent Methods for the Linear and Nonlinear Shape from Shading Problem[J].Journal of Mathematical Imaging and Vision,1998,9(1):69.

[10]XIONG Y,CHAKRABARTI A,BASRI R,et al.From Shading to Local Shape[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(1):67.

[11]BRUVOLL S,REIMERS M.Spherical Surface Parameterization for Perspective Shape from Shading[J].Pattern Recognition Letters,2012,33(1):33.

[12]JU Y C,TOZZA S,BREUSS M,et al.Generalised Perspective Shape from Shading with Oren-Nayar Reflectance [C]// BURGHARDT T,DAMEN D,MAYOL-CUEVAS W,et al.Proceedings of the 24th British Machine Vision Conference(BMVC 2013).Bristol:BMVA Press,2013:42.

[13]KIMMEL R,SETHIAN J A.Optimal algorithm for Shape from Shading and Path Planning[J].Journal of Mathematical Imaging and Vision,2001,14(3):237.

[14]SETHIAN J A.Fast Marching Methods[J].SIAM Review,1999,41(2):199.

[15]ALKHALIFAH T,FOMEL S.Implementing the Fast Marching Eikonal Solver:Spherical Versus Cartesian Coordinates[J].Geophysical Prospecting,2001,49(2):165.