李 浩， 李政伟， 阎永华

(1.河南工程学院 计算机学院，河南 郑州 451191; 2.郑州市中原区教育局, 河南 郑州 450000)

与二维图像相比，三维图像更真实，能够给人更好的感官体验[1]，故在游戏、动漫、影视等领域三维重构技术成为研究重点，并且不断向医疗美容、信息安全、通信等领域延伸。三维图像重构中人物图像的制作难度较大，且人物图像中人的面部特征较多，故重构过程更为烦琐[2]。

人脸图像三维重构是指以二维图像为基础，结合计算机视觉技术[3]构造出三维立体图像的过程。张立峰等[4]基于电容层析成像技术实现了三维图像重构，通过对图像的有限元求解得到灵敏度矩阵，利用MATLAB软件重建了三维图像。蔡麟等[5]基于多视角图片设计了多阶段的三维人脸重建优化方法，通过不同视角之间的关联性对应重建人脸结构。付利华等[6]基于超分辨率重构方法对原有图像中的特征进行填充，使人脸的细节特征信息得以保留，最终实现了高分辨率的人脸图像重构。以上方法都在一定程度上实现了图像的精确重构，但重构图像与原图像之间的偏差较大。

针对上述问题，本研究设计了一种三维动态人脸图像的高精度填充重构算法，首先通过立体视觉技术采集目标人物的多幅图像并进行预处理，然后提取图像中的人脸特征并进行立体匹配，最后进行纹理贴图，实现了三维人脸建模。

1 三维人脸重构算法设计

单幅图像由于单一角度的问题，提供的人脸特征信息有限，影响了三维重构的精度，所以本研究通过立体相机从多个视角采集多幅人脸图片，以此为基础进行缺失人脸特征的互为填充，以实现高精度填充三维人脸重构[7]。基于多幅图片的高精度填充三维人脸重构基本思路分为4个步骤，即二维图像的采集与预处理、特征提取、立体匹配及三维人脸建模。

1.1 二维人脸图像采集与预处理

二维人脸图像采集是三维重构的基础，为了保证所获取人脸信息的完整性和全面性，利用双目立体视觉传感相机[8]拍摄人脸，完成相机标定、图像灰度化、图像滤波等预处理。

(1)相机标定

在二维人脸图像采集后，为了获得相机的内、外参数，以及双目相机中两台相机的相互关系信息，对相机进行标定，为后期图像三维信息的获取奠定基础[9]。相机标定流程：①以一张棋盘格作为基础模板，并将其平铺粘贴到一个水平平面上；②从不同的视觉角度对棋盘格进行拍摄；③检测出图像中的特征点；④计算相机的内参数和外参数；⑤求出畸变系数；⑥对所有参数进行优化；⑦判断精度是否满足要求，若精度满足要求则输出参数，若不满足则回到步骤②，重新进行标定，直至满足精度要求。

(2)图像灰度化

彩色人脸图像会增加后期人脸特征提取的难度和复杂度[10]，故需要进行灰度化处理。对图片颜色进行量化处理并提取图像中的色度值：

(1)

式中:R、G、B分别代表彩色图像不同颜色的分量；μ为该图像的光功率。对色度值进行最大化处理:

(2)

式中:α为图像像素值。对式(2)中最大色度值的计算结果进行平均化处理：

(3)

式中:τ为图片颜色位数；γ为图像灰度值。为进一步实现图像色度值的平均化，计算3种色彩的权数值：

(4)

式中:a为R、G、B这3个色彩分量的权数值；fn为该色度所占的比例；n为图像检测点数量。根据式(4)对图像颜色进行加权平均处理，得到加权平均处理后的二维图像灰度值

(5)

至此，完成了图像的灰度化，接下来需要对灰度化后的图像进行滤波处理。

(3)图像滤波

采集到的图像中难免会包含大量的噪声点[11]，这些噪声点会使人脸细节特征模糊且降低人脸三维重构图像模型的分辨率，故需要对图像进行滤波处理。滤波类型如表1所示。

表1 3种图像噪声滤波法Tab.1 Three kinds of noise filtering methods

均值滤波的图像容易产生细节缺失问题，中值滤波虽然可以在一定程度上保留信号特征，但在对图像中的高斯噪声进行消除处理时易损失图像的线条信号，故本研究选择高斯滤波法对图像进行降噪处理。

使用经过加权平均处理的二维图像邻域灰度值替换中心区域像素点的灰度值：

(6)

式中：(x,y)为中心区域像素点坐标；e为图像局部灰度值方差。

至此，完成了图像的滤波降噪处理，然后在降噪后的图像中提取人物面部图像特征。

1.2 人脸图像特征提取

人脸的不同主要体现在五官上，故从人脸五官上提取特征点是人脸图像特征提取最直接的方法[12]。人脸特征点分布如图1所示。

图1 仿真人脸特征点分布Fig.1 Distribution of simulated face feature points

基于上述人脸特征，对特征点进行定位。目前，特征检测与定位常使用各种算子来实现，具体如表2所示[13]。

表2 人脸图像特征提取算子Tab.2 Face image feature extraction operator

由于SIFT算子受噪声影响较小、图像辨别能力强，故选用SIFT算子提取人脸特征。具体的特征提取过程如下：

①输入人脸灰度图像；②构建人脸图像金字塔；③构建人脸图像差分金字塔；④在差分金字塔中进行初步极值检测；⑤在检测到的极值点附近进行泰勒展开，并拟合进行亚像素定位；⑥由特征点空间位置回至金字塔中，在特征点附近选取一个区域，确定特征点主方向；⑦根据梯度直方图统计生成描述子；⑧描述子归一化，形成最终描述向量；⑨对图像中所有特征点进行上述操作，生成整幅人脸图像特征点描述向量。

至此，实现了基于SIFT算子的人物面部特征提取，再利用所提取的面部特征在三维空间中进行图像的立体匹配。

1.3 立体匹配

立体匹配是指确定不同角度二维图像特征点在三维空间中的对应关系，由此生成视差图。其描述如下：假设已知两个人脸图像特征点集T={t1,t2,…,tm}和Q={q1,q2,…,qw}，立体匹配要实现的就是确立两个点集之间的对应关系[14]。由于图像是从多角度拍摄的，所以并不是图像中所有的特征点都有匹配点。如正面人脸图像的特征点要多于侧面人脸图像，所以要寻找的T、Q之间最大匹配点子集可以设定为(ti,qi)，i=1,2,…,k,其中k≤min(m,w)[15]。基于所提取的人脸面部特征点进行立体匹配，基本流程见图2。

图2 基于特征点的立体匹配基本流程Fig.2 The basic process of stereo matching based on feature points

1.4 三维建模

基于上述立体匹配结果进行三维建模，以实现从二维图像到三维模型的填充重构。这个过程主要包括两部分，一是三角形网格的划分，二是纹理映射。

(1)三角形网格的划分

三角形网格的划分是指将三维空间中的匹配特征点划分成不均匀的三角形网格，以构建人脸的三维轮廓，如图3所示。

图3 人脸三维轮廓Fig.3 Three-dimensional outline of human face

三角划分(Delaunay)算法基本流程如下：①从图像中寻找坐标值最小的特征点作为初始点；②利用K-最近邻算法寻找与该点最近的邻点，并将其作为拓扑点；③将初始点与拓扑点连接在一起；④以初始点与拓扑点为基础，继续寻找K邻域内的第3个点，以此构造初始三角形；⑤以初始三角形3个顶点为初始点，利用K-最近邻算法继续寻找，并连接各个顶点；⑥不断重复上述过程，直至三维空间中所有的点都连接为一个整体，完成人脸三维轮廓的构造。

(2)纹理映射

三角划分仅仅是构造出了人脸的三维框架，缺乏真实感，而人脸的真实感则是由人脸的皮肤带来的，故如何将人脸皮肤映射到人脸三维框架上至关重要。纹理映射也称为“蒙皮”，是指将人体皮肤“粘贴”到相应的框架上，具体过程如下：①从拍摄的人脸图像中提取人脸的皮肤纹理信息，得到人脸五官的纹理贴图；②通过三维建立软件直接将人脸皮肤纹理映射并填充到三维人脸模型上。

由此，实现了从二维图像到三维图像的填充重构。

2 实验

为验证三维动态人脸图像高精度填充重构算法的性能，在MATLAB仿真平台上进行测试。

2.1 实验环境

用双目立体相机、VGA图像采集卡、图像处理系统、计算机等软、硬件设备搭建算法测试环境，如图4所示。

图4 实验环境Fig.4 Experimental environment

利用双目立体相机从不同角度采集目标人物的二维人脸图像，再在采集的人脸图像中提取面部特征点，具体数量为眼部特征点20个、鼻部特征点10个、眉毛部分特征点12个、嘴部特征点18个、面部轮廓特征点15个、脸颊特征点4个。对提取出来的特征点在三维空间中进行立体匹配之后，结合相机参数，得到特征点在三维空间中的坐标，部分特征点的三维坐标如表3所示。

表3 部分特征点的三维坐标Tab.3 Three-dimensional coordinates of some feature points

2.2 三维重构

利用三角划分法建立人脸三维模型。从拍摄的人脸图像中获取人脸各部位的纹理贴图(图5)，使用OpenGL渲染引擎将其映射并填充到人脸三维模型上，得到三维人脸图像。

图5 人脸纹理贴图Fig.5 Texture map of human face

3 实验结果与分析

3.1 三维人脸建模对比

为检验用本方法构建三维人脸模型的还原程度，利用本方法、文献[5]方法、文献[6]方法对所采集的样本数据中同一人脸图像进行重建，得到重建后的模型(图6)。

图6 重建模型对比Fig.6 Comparison of reconstruction models

对比图6中用3种方法重建的图像模型可知，用本方法重建的模型在进行纹理贴图后，图像还原度较高，特征点识别较准确。

3.2 重建图像细节还原度对比

为检验用本方法对人脸图像进行三维重建后细节特征的保留程度，通过相似指数(structural similarity,SSIM)分析上述3种图像重构方法对于原图像细节的还原度。选取10张人物面部图像作为样本，每张图像提取79个面部特征点，比较用本方法、文献[5]方法与文献[6]方法所得图像的SSIM指数，结果如图7所示。SSIM指数越接近1，证明两幅图像越相近。从图7中可以看出，利用本方法进行人脸三维重构，得到的SSIM指数最高达到0.998，更接近1，证明了利用本方法重构的图像与原图像差别更小。

图7 图像细节还原度分析结果Fig.7 Analysis result of image detail reduction degree

3.3 重构后图像失真程度对比

为验证用本方法重构图像的失真程度，用上述3种方法重构图像的PSNR值进行对比，结果如图8所示。PSNR值较高的图像失真程度较低，证明图像复原质量较高。

图8 图像失真程度分析结果Fig.8 Analysis result of image distortion degree

由图8可知，用本方法重构图像的PSNR值与用文献[5]方法相比平均提升了9.5%，与用文献[6]方法相比平均提升了6.7%，证明本方法在改善图片三维重构失真方面有较好的效果。

4 结语

本研究提出了三维动态人脸图像的高精度填充重构算法，并通过测试证明使用该方法重构图像，还原和失真程度能够达到预期要求，为该方法在人脸三维重构领域的相关应用提供了理论依据。但本研究未针对边缘部分进行图像分割，故重构的图像边缘可能噪点较多，后续可以从重构图像的边缘降噪方面进行研究，以期进一步优化重构后的图像质量。