宗 敏

(韩国清州大学 艺术学院,韩国 清州 28497;潍坊学院 传媒学院,山东 潍坊 261061)

对图像进行三维重构是目前计算机视觉领域研究的一个难点,其通过从实际图像中得到准确的几何信息[1],实现对图像精准的虚拟还原.目前主要有两种三维图像重建技术: 1) 利用激光扫描仪、深度扫描仪等对空间目标进行三维立体测量;2) 将空间对象从影像中还原成立体结构,又称为机器视觉[2-3].与第一种方法相比,基于图像的三维重构技术更易获取真实场景中的数据,随着成像分辨率的提高,重构模型的精度也逐渐提升,应用领域更广泛.霍林生等[4]提出了一种基于图像压缩算法的地震损伤三维模型快速重构方法,根据所得图像重构出结构的三维数字模型;张豪等[5]提出了一种基于深度学习的重建方法,将所得的深度图像转化为三维模型,并通过三维对抗生成网络,判定重建出的三维模型是否具有可信度,从而构建出真实的三维图像模型.

虽然上述方法取得了一定进展,但构建的图像精准度较低,细节部分不精细,因此本文提出一种基于机器学习的三维数字图像虚拟场景重建算法.该算法的创新点是处理三维数字图像,实现了纹理和角点的匹配,校正局部细节,利用分类器抑制离散特征点,提高重建效率,去除多余特征,分割点集得到近似拟合函数,分割三维曲面完成图像重建.实验结果表明,本文算法重建性能较好.

1 三维数字图像虚拟场景渲染处理

在虚拟场景重建过程中,用场景的状态和指示[6]对三维数字图像进行绘制[7],将图像的扩散角度设为10°,并以中间线为标准,表达式为

(1)

其中u(R)表示三维数字图像中呈现数目,R表示图像半径.图像的中心像素点分布基于gi=(gix,giy,giz)(i=0,1,2,…,Ng-1)特征空间模型,得到三维数字虚拟图像重构网格模型G中第i个顶点的分布情况[8]:

(2)

其中η表示三维数字虚拟图像重构的网格变形因子,φ表示网格密度.从平面到中心线的纵向距离出发,得出初始样本点与绘制帧之间的关系为

(3)

其中n0表示图像表面积,rpeak表示图像周长,L表示图像高度[9].在三维虚拟场景中,给出相应的插值结果为

(4)

其中D表示插值系数,ltriangle表示相似度计算参数.

采用局部坐标法对图像进行全局近似[10-11],获得三维数字图像的层次数,并对其进行纹理渲染和角点配准[12],校正局部细节,进行矢量反加权处理,得出三维数字图像虚拟场景重建后的曲面像素特征分布,对三维数字图像实行平滑操作[13],得到三维坐标系中的平滑算子为

(5)

在此基础上,完成三维数字图像的渲染处理,根据所得效果抽取出相应的特征并匹配,从而完成三维数字图像虚拟场景的绘制.

2 特征提取和匹配

为削弱在图像角度提取中像素的变化程度,用下式降采样建立符合规模的金字塔:

(6)

其中K(x,y,σ)表示图像的标度空间,G(x,y,σ)表示高斯核函数[14],(x,y)表示像素坐标,I(x,y)表示输入的二维图像,σ表示比例空间系数.

在金字塔的各标度上进行Harris特征提取,以在空间和尺度上检测到的极值点为特征点.根据响应函数在每一标度图像上构建相应的窗口检测模板[15],可表示为

(7)

其中gx和gy分别表示沿x和y方向的图像梯度[16],λ1,λ2表示矩阵M的两个特征数,k表示不为零的常数.利用分类器对获得的离散特征点实行极大抑制[17],以得到稳定的特征数值.

根据特征点的位置,画出8×8的区域,并求出各像素点的梯度方向,表达式为

(8)

其中m(x,y)表示梯度模值[18],θ(x,y)表示梯度方向,K表示特征点的标度.用梯度直方图的形式对区域内的梯度模值和方向进行统计,在0°～360°方向上,将各10°角的柱体分成8根,横坐标表示直方图的梯度方向,直方图的高度表示梯度模值,如图1所示.特征点主要方向是直方图的峰值方向,在特征点的辅助方向上,仅保留峰值超过80%的方向,以提高匹配的鲁棒性[19].

图1 像素梯度和模值统计Fig.1 Pixel gradient and simulation statistics

利用特征点方向、尺度、坐标等信息,求出坐标轴方向,并在4×4的视窗内,通过对8个方向上的梯度信息进行处理,获得128维向量的特征,即一个描述子.传统尺度不变特征转换(SIFI)方法计算很耗时,导致实时性差,因此本文将128维的特征矢量二值化,以f=(f1,f2,…,fi,…,f128)为特征矢量,定义二值化函数为

(9)

其中w表示临界点.求f的中间值,将f矢量转换成二进制矢量,可极大减少匹配运算的时间.

两个特征点的匹配采用欧氏距离法,将待配点p,q的特征描述符用Desp,Desq表示,欧氏距离的计算公式为

(10)

该方法通过使用有限k-d树进行查找,以提高重建效率,最后利用随机抽样一致性算法去除不符合要求的特征点.基于上述过程对场景渲染处理,通过特征提取和匹配能对初始的视差进行校准,重建三维数字图像虚拟场景.

3 三维数字图像虚拟场景重建

图2 三维数字图像重建过程Fig.2 Reconstruction process of 3D digital image

通过对场景渲染处理和特征提取,获得三维数字空间特征点,得到场景目标表面的三维点云图,构建出完整的三维数字图像结构.图2为三维数字图像虚拟场景重建过程[20].最初三维点云的表面会出现突起点和凹点,导致重建表面不连续,出现漏洞,因此需要对三维点云进行优化,消除噪点,采用拟合函数法求出平滑后的三维坐标.

假设点集的整体拟合函数为χ,分割点集,则近似拟合坐标函数公式为

ηχ=δ(χ)×∂s,

(11)

其中ηχ表示拟合函数,∂s表示基函数数量,δ表示待分割的点集数目.根据式(11)的计算结果,采用最小二乘法重建三维曲面,以一个空间内的一个点为圆心,将该圆心投影到切面上,再用贪婪算法对该曲面进行局部二维三角分割,将其映射到三维空间内,构成一个完美的曲面,从而实现基于机器学习的三维数字图像虚拟场景重建.

4 三维数字图像重建实验

为验证本文算法的有效性,进行仿真实验.以某三维数字图像虚拟场景作为研究对象,实验参数设置如下: 工作功率≤5 W,遥感图像数量为100张,时间间隔为20 s,分辨率为200像素,图像输出为1 280像素×720像素和1 920像素×1 080像素,防护等级为一级.

图3 分类器验证损失函数Fig.3 Loss function of classifier verification

分类器主要是对点云数据进行特征提取,即利用所抽取的特征矢量重建三维数字虚拟场景,得到点云数据.在分类训练阶段,每次训练结束后,对验证集进行校验,得出校验集合的损失曲线.图3为3种不同算法的损失曲线.由图3可见: 图像压缩算法得到的损失函数最小可达218;深度学习算法损失函数的最小值可达213;本文算法损失函数的最小值可达205.与其他两种算法相比,本文算法得到的验证集损失函数值较小.在固定横坐标值下,当迭代次数为3 000时,3种算法的损失值分别为219,216和210.在固定纵坐标值下,当损失值降低至220时,其他两种算法在1 000次迭代,本文算法在900次迭代.实验结果表明,本文算法的收敛速度和效果均优于其他两种对比算法.

图4 三维图像重建网络验证集Chamfer距离对比Fig.4 Comparison of Chamfer distance of 3D image reconstruction network verification set

验证集的Chamfer距离(倒角距离)表示每个点到最近特征点的距离,其数值越小证明重建图像效果越好.图4为三维图像重建网络验证集Chamfer距离对比.由图4可见: 图像压缩算法的损失函数随着迭代次数的增加而下降,在第500次迭代时,降低到0.049;而深度学习算法比图像压缩算法的损失函数更低,表示三维重建效果较好;本文算法与其他两种算法相比损失值最低,随着迭代次数增加损失值达0.048以下,因此本文算法对三维图像重建效果最佳,收敛性较快.

用一把椅子做实验对象,能明显看出不同算法对原始图像中靠背和椅子腿的空洞部分的描述.将3种算法的实验结果可视化,如图5所示.图5(A)为需要重建的图像,以此作为图像构建的基准.由图5(B)可见,图像压缩算法重建的椅子图像靠背处空洞和椅子腿部分没有被很好地呈现,尤其是椅子腿位置已看不出任何形状,视觉观察只是各种点状,重构图像整体效果不佳.由图5(C)可见,深度学习算法虽然整体椅子形状显示出来了,但明显观察到表面呈现一些冗余的纹理,与重建图像有较大差异,但相对图像压缩算法总体效果较好.由图5(D)可见,本文算法重建的图像效果最佳,边缘轮廓以及细节部分分布均匀,重构更精细,椅子表面平整,精准度比其他两种算法都高.因此本文算法对三维数字图像重建完整性更好,细节精度也较高,能呈现清晰纹理.

实验结果表明,本文算法的收敛速度和效果优于其他两种对比算法,得到的验证集损失函数值较小;同时本文算法重建的图像效果最佳,边缘轮廓以及图像细节部分分布均匀,重构更精细,完整性更好,能呈现出清晰纹理.

图5 三维图像重建可视化结果比较Fig.5 Comparison of 3D image reconstruction visualization results

综上可见,针对传统的三维重构技术主要采用三维模型,使得三维重建工作量较大,耗时较长,模型的构建效率较低,已无法满足人们生产和生活需要的问题,本文提出了一种基于机器学习的三维数字图像虚拟场景重建算法.首先,将三维数字图像进行纹理渲染,角点配准,并对局部细节进行校正,获得去除噪声图像;其次,采用分类器对离散特征点进行抑制,增强重建效率,剔除多余的特征,利用点集得到近似拟合函数;最后,对三维图像表面分割,实现三维数字图像虚拟场景重建.通过实验可得如下结论:

1) 本文算法得到的验证集损失函数值较小,在固定的纵坐标值中,当损失值降低至220时,其他两种对比算法在1 000次迭代,本文算法在900次迭代,表明本文算法的收敛速度和效果均优于其他两种算法.

2) 本文算法重建的图像效果最佳,边缘轮廓以及图像细节部分分布均匀,对三维数字图像重建有较好的完整性,细节精度较高,能呈现清晰纹理特征.