吴 昊, 沈建新, 戴家隆,2, 殷 飞, 刘文良,2

(1.南京航空航天大学 机电学院，江苏 南京 210016; 2.江苏航鼎智能装备有限公司，江苏 南京 211100;3.中航飞机股份有限公司汉中飞机分公司，陕西 汉中 723213)

0 引 言

基于相移轮廓术的三维重建系统由于其非接触性、高精度、高速度等特点，已经被广泛应用于点云获取、逆向工程等多个领域[1～4]。该系统主要通过多频外差求解相位主值，根据相位信息进行立体匹配和三维重建[5]。在相位立体匹配前，有效地分割出待测物体,可以避免背景噪声、物体阴影区等无效区域相位的误匹配，从而提高单视角三维重建的精度和效率。

目前，针对多频外差法的三维重建系统有效测量区域的分割方法，主要分为条纹调制度研究和相位校正研究两类。从相位校正出发，通过对异常相位的校正，可以避免阴影区等无效区域的匹配和重建。文献[6,7]中，利用相邻相位对绝对误差进行分析和校正，陶四杰等人[8～10]通过改进单调法对阴影区的相位噪声进行了校正，但此类方法只能校正少量的随机噪声，并且还需对所有条纹图的阴影区等无效区域进行多频外差解相。从条纹调制度方向研究，通过条纹的调制度初步分割有效区域，可以避免背景区和阴影区等无效区域的相位计算及展开和误匹配等问题。李小晗等人[11]通过条纹调制度阈值分析法去除了阴影区域的噪声，但在调制度阈值选取上是凭借人工经验，无法实现自动化分割；何海涛等人[12]提出了一种基于迭代法的调制度阈值计算方法，可以简单分割测量区域，但计算出的阈值过大，导致部分有效区域被误分割，使单视角重建模型出现点云局部空洞的问题。

针对上述问题，与现有的方式不同，本文利用调制度直方图代替灰度直方图，同时，将Otsu算法和Sauvola自适应算法引入调制度进行分析，并结合分析结果提出了一种结合频率矩阵的最大熵分割算法，实现了待测物体的自动精确分割，避免了因调制度产生的局部点云空洞、点云边界受损等情况，提高了单视角三维重建的质量和效率。此外，针对反光背景下，单一调制度阈值无法进行分割的情况，本文综合利用Canny算法和形态学算法，成功分割出了待测区域的掩模。

1 相移轮廓术与调制度分析

1.1 四步相移与多频外差

在基于相移轮廓术的三维测量系统中，需要对投影仪投射多频标准N步正弦条纹图进行相位包裹的求解；接着，利用连续的相位值来匹配左右图像的对应点，从而进行坐标计算和三维重建[13]。

设定投射的条纹图像光强为标准正弦分布，则分布函数如下

Ii(x,y)=I′(x,y)+I″(x,y)cos[φ(x,y)+δi]

(1)

式中I′(x,y)为条纹图像的平均灰度值，I″(x,y)为调制灰度值，δi为设定的相移值。

由式(1)可知，计算出φ(x,y)相对相位值至少需要三张条纹图像。标准N步相移法能够有效抑制随机噪声，因此，本文使用标准四步相移法计算。即δi分别为0,π/2,π,3π/2。在灰度值为0～255区间内，I′(x,y)取128，I″(x,y)取127。根据式(2)，计算相位主值，记为φ(x,y)

(2)

式中 相位主值φ(x,y)的值域为[-π,π]，称为包裹相位，但其只在周期内唯一。因此，需要进行包裹相位展开，得到全局范围内无歧义的相位值。现阶段主流的解包裹方法包括有格雷码和多频外差算法。本文采用多频外差算法。多频外差法原理是将两个高频率的包裹相位值叠加得到低频率的函数，如下所示

(3)

式中f1,f2为两种高频率，f12为合成后的低频率。合理选择不同的频率条纹，能够得到全局频率为1的连续相位值。根据式(4)，计算出全局范围类无歧义的连续相位值

Φ1(x,y)=φ(x,y)+2πk

(4)

(5)

式中Φ1(x,y)为展开相位函数，φ1(x,y)为1频率包裹相位，Round为四舍五入函数，φ12(x,y)为外差后的相位函数，tanα和tanγ为两个频率相位函数的斜率。由于单次外差要求精度太高，因此，选择三种频率进行三次外差计算出高频连续相位。本文选择光栅频率为f1=1/70,f2=1/64,f3=1/59进行外差计算。

1.2 光栅条纹调制度分析

在多频外差解包裹前对采集的条纹图进行调制度分析，可以较好地去除背景等噪声区域，从而分割出待测物体有效测量区域。尤其是对于大视场的面结构光双目测量系统，可以避免无效像素的相位计算和匹配。因此，对条纹的调制度进行分析是相移轮廓术三维测量系统中的重要环节。

条纹的调制度由投射光栅实部和虚部所决定，对于同种频率的N步相移正弦条纹，其调制度函数B(i,j)，如式(6)所示

(6)

式中B(i,j)为对应图像像素坐标为(i,j)的调制度，In(i,j)为对应图像像素坐标为(i,j)的灰度值。利用式(6)计算完图像的调制度后，根据式(7)筛选出有效的像素点，生成有效待测区域的调制度掩模Q(i,j)

(7)

由上述公式可知，调制度阈值T的选择是分割图像的关键。合理的阈值可以筛出背景、杂点以及由光照产生的遮挡阴影等无效区域，将待测物体有效的分割。

2 条纹调制度阈值的自动选择

一般情况下，条纹调制度的阈值由人工经验选择或者极小值搜索的方式来确定，此类方法无法保证阈值选择的合理性。尤其是对于高分辨率的图像，过大的阈值会导致较多相位信息的缺失，影响三维重建的精度。为了实现调制度阈值的自动化选择，与现有的自动分割方法不同，本文采用图像的调制级直方图代替灰度直方图进行处理，将Otsu算法、Sauvola(自适应阈值处理)算法等分割算法引入图像的调制度进行分析，并提出了一种结合频率矩阵优化的最大熵阈值分割算法以实现待测区域的有效分割。

2.1 条纹调制度预处理

根据式(6)，计算得到整幅图的调制度。采用图像的调制级直方图代替灰度直方图对调制度进行预处理。为了减少阈值分割算法的迭代次数，利用线性归一化函数式(8)将调制度进行处理，将调制度分成255个等级。即

(8)

式中L(i,j)∈[0,255],INT()为取整函数。

2.2 传统的阈值分割算法

2.2.1 Otsu算法

Otsu算法又称最大类间法，其采用聚类的思想将图片中所有的像素值分为C0和C1两类，通过不同阈值的迭代，求出类间方差最大时的阈值T，即为最佳阈值。本文将Otsu算法应用到调制度的分析，具体步骤如下:

1)取调制度等级L(i,j)的最小值作为初始阈值T0,即T0=1，将条纹的调制度分为C0和C1两类。

2)分别计算C0和C1两类像素个数的所占整个图片比例，记为w0和w1；C0和C1两类的调制度均值，记为μ0和μ1。

3)根据式(9)，计算当前阈值T下的调制度的类间方差，记作σ2(T)。式中，μ为整幅图的调制度均值

σ2(T)=w0(μ0-μ)2+w1(μ1-μ)2

(9)

4)更新迭代阈值T，取σ2(T)为最大值下的阈值Tn，作为最佳阈值。

2.2.2 Sauvola算法

Sauvola算法是一种自适应阈值算法，与Otsu等全局阈值算法不同，它是通过移动窗口的方式求解窗口内所有像素点的灰度均值与灰度标准差作为阈值T的计算依据。该算法可以弥补光照不均的缺陷，具有很好的鲁棒性。同样，本文将Otsu算法应用到调制度的分析中，步骤如下：

(10)

(11)

2)利用式(12)，计算当前像素点的动态阈值T(i,j);根据式(7)进行判断并生成分割掩模

(12)

式中R为标准差的动态范围,条纹的调制度采用的8位图像,本文R=128；k为自定义修正系数,对动态阈值影响不大,本文取k=0.5。

根据上述步骤，利用Otsu算法和Sauvola自适应算法进行条纹图像的调制度进行分割，如图1所示。

图1 Otsu算法和Sauvola算法分割结果

由图1(a)可知，当随机选取阈值T=10时，由于调制度阈值偏小，导致背景部分出现较多杂点;由图1(c)可知，Otsu阈值算法可以将有效区域进行初步分割，但其计算出的调制度阈值不够精确，较大的调制度阈值导致部分有效区域(如区域A等)被误删除，此类情况将会导致重建后的模型出现局部空洞的问题;由图1(d)可知，由于结构光三维重建系统对光照环境比较敏感，通常情况下不会出现亮度不均的情况，所以，Sauvola等动态阈值算法不适用于结构光测量系统，无法将其有效测量区域进行分割。

2.3 结合频率矩阵优化的最大熵分割算法

针对上述分析结果，为了保证分割出的有效测量区域的完整性，本文提出了一种结合频率矩阵优化的最大熵调制度分割算法。首先，利用式(6)计算得到条纹的调制度后，利用最大熵算法对调制度进行初步分割；由于最大熵阈值得到的最佳阈值T往往偏小，会存在如图1(b)的离散噪声，为了去除此类噪声又保留掩模的边缘信息，本文利用频率矩阵对调制度掩模进行进一步的优化处理。

2.3.1 最大熵阈值求解

最大熵阈值分割算法通过搜索聚类后的最大信息熵来确定最佳阈值，算法可以使分割出的背景以及前景保留最大的信息量，弥补Otsu算法的缺陷，本文利用最大熵算法求解条纹调制度的最佳阈值，具体步骤如下：

1)取调制度等级L(i,j)的最小值作为初始阈值,即T0=1，将条纹的调制度分为前景C0和C1背景两类。

2)逐个分别计算C0和C1两类包含的调制度Bi在该类出现的概率,记为Pi,对于C0类,i=0,1,…T;对于C0类，i=T,1,…,255。

3)根据式(13)和式(14)，分别计算前景类和背景类对应的信息熵，记为HC0和HC1

(13)

(14)

4)根据式(15)计算条纹调制度的信息熵，记为HB。更新迭代阈值T，取为HB最大值下的阈值Tn，作为最佳阈值

HB=HC0+HC1

(15)

2.3.2 结合频率矩阵的调制度优化

利用最大熵分割算法初步分割了有效测量区域的掩模后，需要对调制度掩模进行进一步的去噪处理，从而完整分割出有效的测量区域。传统的去噪算法，如高斯滤波、均值滤波等算法，会使有效区域轮廓边缘发生改变。这种情况会引起解相位后物体轮廓边界的相位信息丢失或错乱，影响匹配及重建精度。为了保留物体边缘的同时又去除离散噪声，本文提出了一种结合调制度频率矩阵的去噪方法。

首先，根据式(16)，计算出调制度的频率矩阵QB如下所示

(16)

式中Bij为坐标为(i,j)的像素点所对应的调制度;T为最大熵分割算法求解出的最佳阈值。

接着，通过移动窗口的方式，计算以aij为中心(3,3)邻域内的调制度频率的均值，记为S。通过式(17)，优化更新调制度频率矩阵，并以此作为掩模分割条纹图像

(17)

2.4 反光背景下的自动分割技术

针对某些反光背景下的三维重建，对相移条纹进行解调后，待测物体有效测量区域的制度和部分反光背景的调制度为同一个等级，这种情况下无法通过单一阈值或多个阈值进行条纹调制度分割。针对上述反光背景，本文提出了一种基于改进的Canny算法的有效区域自动分割技术，算法流程如图2所示。

图2 反光背景下的自动分割方法的流程框图

首先，利用式(6)对所采集的光栅条纹进行解调，利用式(8)将计算出调制度进行归一化处理。接着，为了保持平滑图像滤除噪音的同时，保持图像轮廓不变，本文采用双边滤波算法对解调后的图像进行平滑处理；然后，对解调后的条纹图进行Canny检测：用Sobel算子计算每一个像素点梯度和方向,用非极大值抑制来消除杂散效应，用双阈值来检测真正的边缘。

由于双阈值的Canny检测会使物体轮廓出现小的缺失,本文采取形态学闭运算即先膨胀后腐蚀能够很好地填补上物体轮廓处细小缺失；最后，为了避免出现物体处于投影边缘处的情况导致检测出的轮廓非封闭，本文对闭运算后的图形进行线性插补将边缘处轮廓补全成完整封闭轮廓，通过得出的完整物体轮廓建立掩模矩阵，分离出有效的测量区域。

3 实验验证分析

3.1 实验平台

本文搭建了双目结构光三维重建系统来验证算法的正确性，如图3所示。系统所用的投影仪为DLP4500,其分辨率为1 140像素×912像素。左右相机采用的是大华工业相机,其分别率为4 096像素×3 000像素。投影仪投射图案为三频四步的正弦光栅条纹(频率分别为1/59，1/64，1/70，步长间隔为1/2π;实验采用的计算机控制条纹的投射以及整个三维重建工作，计算机的配置为Intel®CoreTMi5—9400F CPU,2.90 GHz,8 G内存。本文采用C++作为算法的编程语言，编译环境为VS2017，并配置了OpenCV4.5.1开源库。

图3 双目结构光测量系统

3.2 实验结果

利用本文的算法对所采集的航空零件、动物面具等条纹图进行解调和自动分割，实验结果如图4所示。

图4 吸光背景下的调制度自动分割结果

由实验结果可知，改进后的最大熵调制度自动分割算法能够确定更准确的调制度阈值，有效地分割出待测区域。对比Otsu算法以及阈值迭代算法，该算法可以弥补上述算法计算出的阈值过大导致如区域A和区域B等区域被误剔除的问题，最大程度地保留了有效测量区域的完整性。如表1所示，改进后的最大熵法得到的优化阈值更加准确，其生成的掩模能更完整地保留像素相位信息，重建后的三维模型避免了局部区域的点云缺失和空洞等情况。以狮子面具为例，改进的最大熵法生成的调制度掩模能够保留811 808个像素点，比迭代阈值法多保留了100 462个像素的有效相位信息，在其原有的分割基础上保证了14.12 %像素面积的相位值不被误删除，顺利进行相位匹配。

表1 三种算法的数据对比结果

以待测物体狮子面具为例，用上述算法得到的掩模对有效区域进行分割，并进行相位立体匹配与三维重建。利用GeomagicWrap2017对重建的点云进行可视化与分析，如图5和图6所示。

图5 立体匹配后的狮子面具视差

图6 重建后狮子面具的点云图

对比迭代阈值法，通过本文的算法分割出的掩模进行相位匹配与重建，如表2所示，最终得到模型的有效点云为429 265个，比阈值迭代法多出33 083个有效点云，在原有算法基础上弥补了8.35 %面积的点云缺失；模型三角片数为915 462，比阈值迭代法多出58 041片，在原有算法基础上弥补6.77 %面积的三角片缺失。本文对重建后点云图进行三角化重构，如图7所示。实验证明，本文的分割算法不仅可以去除杂点和背景，避免无效区域的相位计算，而且有效地解决了点云局部空洞等问题，提高了单视角三维重建模型的质量。

表2 三维重建后点云的数据对比

图7 三角化重构后的模型

为了验证反光背景下的分割算法的正确性，对反光背景下的航空零件的条纹图进行了实验，实验结果如图8所示。实验结果表明：针对反光背景下，本文的基于改进的Canny算法的有效区域自动分割技术，弥补了反光背景下无法利用调制度阈值进行分割的不足，实现了有效区域的初步分割。

图8 反光背景下的分割结果

4 结束语

本文提出了一种基于条纹调制度的分割算法，实现了待测区域的自动分割，有效地剔除了背景杂点等噪声，同时避免了无效区域的解相位以及匹配等流程，提高了三维重建的效率。与现有的方法相比，本文提出的结合频率矩阵优化的最大熵分割算法保留了更多的有效相位信息，避免了重建后的点云出现局部空洞等问题，提高了单视角下重建点云的质量。另外，针对高反光背景下无法利用调制度阈值进行分割的情况，本文利用改进的Canny算法实现了测量区域的初步分割。在利用调制度分割出有效测量区域后，如何利用已有相位信息填补相位缺失以及提高匹配精度将是下一步研究的重点工作。