周林颖，邢冠宇

（1.四川大学计算机学院，成都610065；2.四川大学视觉合成图形图像技术国防重点学科实验室，成都610065）

0 引言

近年来，增强现实技术及其应用飞速发展，为了实现增强现实光照一致性，室外场景的光照估计也取得了很多研究进展，但是对室外人脸的光照信息估计却没有太多的研究。当对人脸进行增强现实应用时，需要真实的人脸和虚拟元素有相同的光照，即光照一致性，才能使得用户得到更加真实的体验。在深度学习神经网络的热潮当中，由于传统的安全手段如身份证和密码等不够可靠或不够方便，因此人脸识别成为一个非常热门并且快速发展的研究领域。人脸识别中，光照是影响人脸识别的重要因素之一，光照信息的提取可以用于消除光照对人脸识别引起负面影响，从而提高人脸识别的识别率和鲁棒性。自从互联网诞生以来，各种各样的图片变得更加容易获取，而且随着Pho⁃toshop等处理图片的软件的发展，人们可以轻易地对图片进行各种处理，如修复、伪造、拼接等。对室外人脸的光照进行估计，可以应用到室外人脸防伪技术中，得到不同人脸的光照信息，从而判定不同的人脸是否是后期处理合成的。

针对以上几方面的应用，室外光照估计有着重要的研究意义，因此本文将着重研究如何从室外人脸图片进行光照估计。

1 相关工作

面部的光照估计主要集中在光照归一化以改善面部识别。文献[1]在1999年提出将环境光估计为人脸三维形变模型（3DMM）拟合成单幅人脸图像中的一部分。此后，提出了几种基于3DMM的方法[2-3]。这些方法的性能依赖于良好的面部3DMM。然而，现有的3DMM通常是在受控环境下拍摄人脸图像，因此它们在户外表情的表现力（特别是纹理模型）是有限的。文献[4]提出了一种基于优化的方法来估计一般物体的形状，反照率和光照。为了解决这样一个欠约束的问题，他们的方法很大程度上依赖于和一般物体的形状，反照率和光照等相关的先验信息。虽然它们取得了很好的结果，但由于目标函数的非凸性，它们的方法很慢并且在某些情况下可能无法给出合理的结果。文献[5]提出使用深度学习来解开关于脸部图像的姿态、光照和身份的表示。作者仅展示了他们的方法在合成图像上的有效性，但是并没有说明这个方法是否可以应用于更加复杂的真实的人脸图像，而且此方法的照明表示没有物理意义，因此很难在其他应用中使用。文献[6]使用球面谐波（SH）照明表示来重新照亮面部。文献[7]通过马尔可夫随机场来处理比较极端的照明。虽然文献[8]从单个图像的眼睛估计照明条件，但是在这种情况下若图像像素分辨率偏低，结果将会受到很大的影响。

相比之下，文献[9]的方法可以估算出比较接近真实照明环境的室外光照，但是此算法是在LDR人脸图像上进行光照的恢复，并且需要非常复杂的人脸反照率和天空的GMM（高斯混合模型）模型的先验信息来保证能量方程优化的准确性。本文依照文献[9]算法的思想，针对其LDR图片信息的动态范围的狭窄性和先验信息的复杂性，本文提出一种基于HDR人脸图片的室外光照估计算法，使用高动态范围的HDR人脸图片和简洁有效的先验信息，保证目标函数优化及参数求解的准确性。

2 算法实现

本文算法流程主要分为三个部分，如图1所示。

图1算法流程图

第一部分LDR图转为HDR图：将日常生活容易获得的LDR图通过反色调映射的方法转化为信息丰富的HDR图。

第二部分人脸光照模型建模：将人脸图片进行三维建模，使用人脸三维形变模型（3DMM）获得人脸的三维信息和几何信息；对天空光进行建模，使用改进后的普利兹天空模型获得天空的光照信息；对人脸的反射模型进行建模，使用朗伯体反射模型获得人脸的参数模型着色信息。

第三部分能量方程优化：通过第二部分获得的参数模型下的人脸着色信息，和真实人脸图片中的着色信息相比较形成能量方程，并对能量方程进行优化求解得出光照参数。

2.1 LDR图转为HDR图

我们常见的LDR图片的动态范围低，过曝和低曝部分的细节不能展现，所以用于光照估计的效果比较差，精读比较低，因此本文的光照估计的方法是基于HDR人脸图片的。然而在现实场景中，HDR图片的获得是有难度的，通常需要具备以下条件：①一组曝光不同的图片；②用于校准的物体；③专用的相机设备进行拍摄等。与此相反，在日常生活中，LDR图片的获得是比较容易的，常见的消费者级别的设备（如手机相机、卡片数码相机等设备）都可以轻易地获得LDR图片。因此本文采用基于跨双边滤波的反色调映射的方法[10]，将LDR图片转化为HDR图片，增强图片的明暗细节。处理前后的效果如图2所示，为了能够在文中展示，HDR图是色调映射（Tone Mapping）后的结果。

图2 LDR和HDR对比图

2.2 人脸光照模型建模

人脸光照模型由三部分组成：人脸三维模型、天空光模型和人脸反射模型。

（1）人脸三维模型

由于计算人脸的光照信息需要人脸的三维几何信息，因此本文使用一种现有的比较简单的3DMM模型来获得人脸的三维信息和几何信息[11]。该方法通过在人脸上选择68个特征点将二维的人脸进行三维建模。建模结果如图3所示。

（2）天空光模型

本文将天空光作为一个面光源，因此需要对天空进行建模。大气光学文献中已经提出了几种天空模型，其中许多模型已成功用于计算机视觉和图形学应用。本文使用的是文献[12]提出的一种较著名的模型：

图3人脸建模结果

分布函数F则是经典的Perez天空模型：

其中的参数A、B、C、D、E是五个描述天空的参数。此模型对其进行改进，建立五个参数和浊度t之间的对应关系，简化参数个数：

而此模型只能描述天空光亮度，若需描述天空光颜色则需要加上天空光平均颜色的三维权重wsky。因此天空部分的光照模型描述为：

虽然有许多模拟天空的模型，但是模拟太阳模型的模型却比较少。太阳通常被表示为一个恒定强度的固定大小的圆盘[12]。虽然这可能适用于晴空，这并不能很好地推广到更复杂的情况，（例如有云的情况）。在这里，本文采用文献[13]中引入的一个新的经验模型，它将太阳建模为：

其中，k为太阳散射因子（8≤k≤8192）；ω为采样光照方向；wsun为一个三维的权重，是太阳光平均颜色。

因此，最后的天空光模型描述为一个10维参数的模型：

该模型的参数向量为：x=[ωsunwsunwskyt k]，是一个10维的向量。

（3）人脸反射模型

在本文中，将人脸视为朗伯体，对其的反射模型采用朗伯体反射模型：

其中：p为人脸上的采样点；np为p点的法向量；ρ(p)为p点的反照率；λ为RGB三个颜色通道中的一个；∙,∙为点积；ω为在球面Ω上的一个光照方向；lλ(ω)是一个理想的光照函数，在本文中则为上文中的天空光模型式（7）；V( p,ω)表示朗伯体表面的点p在方向ω上的可见性，取值为0或者1。

为了计算方便，将该反射模型离散化，用向量表示光照和反照率：Lλ=[lλ( ω1)…lλ( ωn)]T∈Rn，ρλ∈RN，其中n为光方向的个数，N为人脸采样像素的个数。因此可以将式（8）重写为：

2.3 能量方程优化求解

我们将人脸真实着色信息设为s*，通过和上文式（9）得到的人脸参数模型的着色信息进行对比，本文将光照估计的问题转化求下面带约束非线性最小二乘问题的解：

对于带约束的非线性问题的求解一直以来都是比较困难的，主要有以下几个难点：①由于目标函数的非凸性，因此对初值的选取非常敏感，参数求解容易落到局部最优解而不是全局最优解；②由于目标函数带约束，因此需要寻找可解决带约束问题的求解方法；③有效的先验信息可以大大提高解的准确性，因此简介高效的先验信息的选取也是一个难点。

针对难点①，本文采用多次选取初值的方法。因为非线性最小二乘问题对初值非常敏感，所以本文在初值的取值范围内对某些参数均匀地选取了若干个初值（一般在5个左右），分别求取每个初值的解，并对这些解进行综合比较，选择其中能量方程值最小的解作为我们的最优解。该方法能在一定程度上避免解落到局部最优解的情况。

针对难点②，本文采用基于文献[14]和[15]中描述的内部反射牛顿算法的信赖域反射算法（Trust-Re⁃gion-Reflective）。该算法是一个子空间信赖域算法，每次迭代都涉及使用预处理共轭梯度（PCG）方法的大型线性系统的近似解。信赖域算法是求解非线性最优化问题的一类有效算法，此类算法的基本思想是利用目标函数在某一点的信息构造一个二次模型，使其在此点附近与目标函数有好的近似，然后根据该二次模型的最小值点来产生下一迭代点，并视二次模型与目标函数的近似程度来调整信赖域半径的大小，由于信赖域方法具有很强的收敛性和稳定性，顾而受到许多研究者的青睐。而信赖域反射算法则在信赖域算法的基础上，结合内部反射牛顿算法，根据反射机制来对下一迭代点的步长进行更新。这种算法主要针对的是非线性的边界约束的最小化问题，能有效地处理带约束的问题。

针对难点③，文献[9]中采用的先验信息是对一个5000多张天空图片的数据集使用GMM（高斯混合模型）进行聚类，然后用聚类后的负对数似然函数获得先验信息。该方法复杂繁琐且计算量极大。本文则采用更加简洁有效的颜色先验信息。因为天空通常都是偏蓝色或灰白色，基于此先验，本文在10张不同的片中进行采样后发现天空光平均颜色wsky三通道之间关系为：R≤G≤B。因此本文将wsky的三个参数由另外三个非负参数a,b,c表达为下面的形式：

3 实验结果

本文算法通过与文献[9]算法的对比结果如图4所示：（a）为输入的人脸图片，这里展现的是本文采用的HDR的人脸图片；（b）为人脸当时所处的真实的室外光照；（c）为文献[9]算法的实验结果，直接从其论文中的实验结果中获得的图片；（d）为本文的实验结果。

图4实验结果对比

通过图4中本文和文献[9]的结果进行对比可以看出，本文的结果天空光颜色估计得更加精确，太阳的位置也估计得更加精确。

4 结语

本文提出一种基于HDR人脸图片的室外光照估计算法，首先对人脸进行三维建模后，对天空光模型和人脸反射模型进行建模，最后对形成的能量方程进行优化求解来获得估计的光照的参数。本文使用高动态范围的HDR人脸图片和简洁有效的先验信息，保证目标函数优化及参数求解的准确性。实验结果证明本文算法的有效性和准确性。但是该算法的优化求解中需要大量的矩阵运算和求导计算，计算量大，需要的处理时间久，如何提高该算法的效率将是接下来要解决的重要问题。