皮慧婷

摘 要：表面光场广泛应用于基于图像的渲染与重光照。为实现任意视点下三维人脸模型绘制，针对极其稀疏和分散的人脸数据，提出基于球谐函数的人脸模型表面光场构建方法。该方法首先利用球谐函数为线性组合表示表面光场对应的辐射度函数，然后使用添加稳定能量项的无约束最小二乘法，实现对人脸模型表面光场的鲁棒性拟合，最后采用仿真技术对任意视点下的人脸模型进行渲染。在极其稀疏的6个视点下的人脸图像上实验，结果验证了该方法的有效性。与插值法比较，验证了该方法更具鲁棒性。

关键词：球谐函数；表面光场；无约束最小二乘法

DOI：10.11907/rjdk.171517

中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2017）009-0195-04

Abstract：Surface light field is widely used in Image-Based Rendering and Image Relighting， To rendering the 3D human face model at arbitrary views， this paper proposes a method to reconstruct human model face surface light field using spherical harmonic function. It is a robust least-squares based method for fitting 2D parametric surface light field functions on the extremely sparse and scattered data. Surface light field function is expressed as a linear combination of spherical harmonic functions. We add a stabilization energy to the unconstrained least-squares （ULS） fitting process， to robust fit 2D parametric Surface light field function. We carry out experiments on photos of six extremely sparse viewpoints. Experiment results show that this method is efficient. Comparing with the results of interpolation method， the results show that our method is more robust.

Key Words：spherical harmonic function； surface light field； unconstrained least-squares

0 引言

光場能够获取场景的密集表示，广泛应用于基于图像的渲染[1-2]（Image Based Rendering， IBR）框架中，为计算机视觉、虚拟现实等领域提供了一个新的研究方向。在假定光线传播区域无遮挡情况下，Leovy等[3]首次提出了光场的四维模型L（u，v，s，t），指出光场是物体光线的空间分布，如图1所示。图中位面（u，v）和（s，t）称为光片，一个光片实际上是一个图像矩阵，则光场可以用穿过两个位面的一条直线描述，该直线表示场景中某个物理点发出的光线，相应地这条直线的函数就是光辐射度，称其为流明图（lumigraph）或者光场（light field）。

基于光场容易通过物理途径获取源数据，且利用光场数据可实现三维物体或场景的建模和渲染[4-5]。根据采样数据的稀疏性，可把光场重建方法大致分为基于密集采样的光场重建和基于稀疏采样的光场重建。这些方法一定程度上都可以较好地实现光场重建，然而，基于图像的光场数据在一定深度范围内具有模糊现象，为此，Miller等[6]首次提出了表面光场概念。

对于每个二维表面顶点，表面光场表示该顶点的颜色值（RGB）， 该颜色值取决于一个连续方向参数：视点方向或入射光方向，因此表面光场可以定义为一个二维的半球形函数。然而，从获取的采样数据生成该函数可能较困难。Wood等[7]利用3D形状的先验知识来减少表面光场的采样数量。Miandji等[8]设计了一个框架来生成表面光场，并将表面光场数据进行压缩绘制。Jachnik等[9]提出通过单一手持相机实现实时表面光场获取的算法，但该方法只适用于平面场景。以上表面光场获取方法均需要稠密采样，且没有考虑模型特定性。

近年来学者开始关注在稠密采样情况下，如何通过适应稠密的输入样本拟合构建出表面光场。实际上，估计参数的拟合过程就是生成一个适应输入样本的函数。输入样本是位于可见半球的一组颜色值，这个位置可通过照片在表面的投影或光源位置推导出来。非线性函数可精确拟合半球形函数，但需要密集抽样[10]，且它常用于高维（4D）的半球形函数。在二维情况下， 由于基函数的线性组合简单，经常被用于表示一组线性方程的拟合问题。最常用的有球谐函数[11]、多项式[12-13]、lumispheres[14]和剪切波变化[15]等。其中，球谐函数由于正交完备性，且可展开系数平方和具有旋转不变性，被广泛应用于各种对象的拟合或表示[16-19]。

通常，针对低质量的采样数据，约束最小二乘法常用于解决拟合半球形函数问题。Woods等使用这种方法解决了由于遮挡造成的亚约束问题。Lam等[20-21]使用约束最小二乘拟合，使压缩的噪声最小化。K Vanhoey等针对低质量采样数据，使用无约束最小二乘拟合得到物体任意视点的图形。故本文为适应稀疏采样数据也使用最小二乘拟合算法。endprint