张世辉， 耿 勇， 张笑维

(1. 燕山大学 信息科学与工程学院，河北 秦皇岛 066004；2. 河北省计算机虚拟技术与系统集成重点实验室，河北 秦皇岛 066004)

1 引 言

遮挡边界检测在视觉测量[1]、场景绘制[2]、生物识别[3,4]、目标跟踪[5,6]、运动估计[7]等领域具有重大意义，受到学者们的广泛关注。目前，已有的遮挡边界检测方法主要分为基于图像亮度信息的遮挡边界检测方法[8～11]和基于图像深度信息的遮挡边界检测方法[12～17]两大类。

基于图像亮度信息的遮挡边界检测方法大多以彩色图像为依据，利用深度估计、区域分割等实现遮挡检测。主要代表成果有：He X等[8]对图像进行区域分割，估计出场景中物体的粗糙深度(伪深度)，对提取的深度轨迹进行马尔科夫平滑进而确定出遮挡边界；Yang J等[9]把图像聚类成超像素，通过多元随机抽样算法和移动最小二乘法绘制栅栏轮廓完成遮挡检测；Lee S J等[10]基于自适应权值立体匹配算法的代价匹配曲线来实现视觉目标中遮挡的检测；Hoiem D等[11]采用层次化的区域分割方法，根据分割结果估计视觉目标的遮挡边界。基于图像深度信息的遮挡边界检测方法主要以深度图像为依据，通过构建模型或者利用机器学习算法实现遮挡检测，主要代表成果有：文献[12]通过构建曲率模型来实现深度图像的遮挡边界检测；文献[13]利用无监督聚类思想检测遮挡边界；文献[14]基于集成学习思想，利用AdaBoost分类器实现深度图像中遮挡边界的检测；文献[15]提出了一种半监督学习检测深度图像中遮挡边界的方法，通过构建连通无向图，计算数据样本相似性进而实现对像素点的判断；文献[16,17]基于监督学习分类思想，构造相关分类器实现遮挡边界的检测。

上述方法在亮度图像或深度图像遮挡边界检测中均取得了一定的成果，但在检测精度上仍需进一步提高。考虑到深度图像在视觉测量、人机交互、深度估计、三维重建、生活娱乐等领域体现出越来越重要的价值。并且，考虑到深度图像能够直接反映场景中景物与摄像机间的距离信息，在表征物体表面三维立体信息方面更具优势。同时，又由于神经网络可以较为有效地解决数据稀释问题，对离群点具有较强的处理求解能力。因此，本文提出了基于BP(back propagation)网络的深度图像遮挡边界检测方法。

2 方法概述

2.1 物体遮挡边界

物体遮挡边界是指发生遮挡的情况下遮挡前景与被遮挡部分之间的分界线。在深度图像中，遮挡边界由若干个像素点构成，称这些像素点为遮挡边界点。深度图像及图像中视觉目标的遮挡边界如图1所示。

图1 深度图像及其遮挡边界Fig.1 Depth image and its occlusion boundary

2.2 方法总体思想

本文提出一种利用监督学习思想检测深度图像中视觉目标遮挡边界的方法。方法总体思想如下：首先，计算待测深度图像中每个像素点的各类遮挡相关特征。然后，将各类遮挡相关特征进行归一化操作并组合形成特征向量。最后，将各像素点对应的特征向量输入到训练好的BP网络分类器判断各像素点是否为遮挡边界点，在此基础上，可视化遮挡边界点得到最终的遮挡边界检测结果。方法总体流程如图2所示。

图2 遮挡边界检测方法总体流程Fig.2 The overall process of occlusion boundary detection

3 遮挡相关特征描述

目前，已有的基于深度图像的遮挡相关特征主要包括深度差特征[12～14]和几何特征[15～17]两大类。这些特征分别从不同角度反映了深度图像中像素点与其邻域像素点的深度值阶跃特性，为深度图像的遮挡边界检测提供了依据。为了能够更加准确地检测出更多的遮挡边界点并尽量减少误检现象的发生，探索新的遮挡特征，本文提出一种名为最长投影线段特征的遮挡边界检测新特征。

3.1 最长投影线段特征的提出

分析深度图像可知，存在遮挡现象的像素点与其邻域点之间的深度值变化有明显的阶跃，即深度图像中相邻的点在空间上是不相邻的。但有时，由于深度图像中视觉目标本身构造或被观测角度等原因，使得部分与周围深度值阶跃不明显的遮挡边界点仅仅依靠目前已有的遮挡相关特征不能很好地被检测出来或存在误检现象。一方面，在深度图像中某一像素点与其8邻域内任一像素点可以构成8个空间向量，这些向量与深度摄像机的观测方向之间构成8个夹角，夹角在某种程度上反映了像素点处曲面的弯曲程度，夹角越小代表此处弯曲程度越大，该像素点越有可能是遮挡边界点。另一方面，在深度图像中，某一像素点与其8邻域内像素点构成的空间向量中，模越大代表2个像素点的距离越大，此时这一像素点越有可能是遮挡边界点。但有时存在夹角和向量的模同时很小或很大的情况，此时无法确定该像素点是否是遮挡边界点。综合考虑各像素点的深度信息和三维空间信息，提出了最长投影线段特征以增强深度图像中视觉目标遮挡边界检测的效果。最长投影线段特征如图3所示。

图3 最长投影线段特征Fig.3 The feature of longest projected line segment

图3展示了深度图像中某一像素点p与其8邻域像素点之间对应的三维空间中的邻接关系。由图3可知，像素点p与其8邻域内任意一个像素点pi(i=1～8)能够形成对应的向量ppi，同时，摄像机主光轴方向向量和向量ppi构造8个夹角θi，最长投影线段特征即向量ppi的模和对应的夹角θi余弦值乘积的最大值。

因为深度图像反映的是场景中视觉目标与摄像机间距离信息，为了获得相应的最长投影线段特征，记深度图像I中任一像素点p(i,j)对应的真实三维空间坐标为x(i,j)、y(i,j)和z(i,j)，其8邻域内任一像素点p(i,j)对应的真实三维空间坐标为x′(i′,j′)、y′(i′,j′)和z′(i′,j′)，则像素点p对应的最长投影段特征fMP定义为

(1)

y′(i′,j′)]2+[(z(i,j)-z′(i′,j′)]2}1/2

(2)

θi=angle(Vc,Vppi)

(3)

式中：Vc是深度摄像机的观测方向的向量；Vppi是像素点p(i,j)和其8邻域像素点pi(i,j)对应的三维空间点所形成的向量。

3.2 特征重要性

特征选取是遮挡边界检测的关键步骤，为了选取合适的遮挡相关特征用于遮挡边界检测，本文使用随机森林对所提特征及已有常用特征进行重要性评估，最终获得各遮挡相关特征的重要性如图4所示。

图4 各遮挡相关特征的特征重要性Fig.4 The importance of occlusion-related features

由图4可知，各遮挡相关特征的重要性大小依次为fMDD>fMP>fWL>fMC>fADD>fA。其中，fMDD为最大深度差特征，fMP为最长投影线段特征，fWL为加权最长线段特征，fMC为平均曲率特征，fADD为平均深度差特征，fA为夹角特征。由此可见，最大深度差特征fADD和所提的最长投影线段特征fMP的特征重要性明显高于其他特征，故本文选用这两种特征用于深度图像的遮挡边界检测。

4 遮挡边界检测方法

基于已确定的最大深度差特征和最长投影线段特征，本文利用机器学习思想实现深度图像遮挡边界的检测。

4.1 非线性归一化

在进行遮挡边界检测过程中，进行特征联合前通常需要将不同特征的特征值进行归一化处理，以便让不同量级和差异值较大的特征在统一尺度上进行衡量。本文提出了一种非线性的归一化方法，具体定义为

(4)

通过非线性归一化操作，将归一化后的特征值联合成特征向量，作为神经网络分类器的输入数据。

4.2 基于BP网络的遮挡边界检测方法

将遮挡检测作为一个有监督的分类问题，最终得到的是图像像素级别的分类结果，即将图像中的每一个像素点看作一个样本，依据每个像素点归一化后的联合特征向量判断其是否为遮挡边界点。

遮挡边界检测算法的具体描述如下：

算法名称：Occlusion Detection Algorithm Based on BP Network

输入：深度图像

输出：遮挡边界检测结果

Step1:遍历待检测深度图像，分别提取各个像素点的最大深度差特征和最长投影线段特征；

Step2:根据所提非线性归一化方法对特征矩阵中的特征值进行归一化并联合为特征向量；

Step3:将每个像素点的联合特征向量输入到训练好的神经网络分类器中得到其相应的类别标签；

Step4:记录遮挡边界点在深度图像中的位置，进行可视化显示得到遮挡边界检测结果。

5 实验与分析

5.1 实验环境及数据集

为了验证所提方法的可行性和有效性，本文基于stuttgart range image database中大小为400×400的深度图像进行遮挡边界检测实验。由于stuttgart range image database目标物体种类较多，即使是同一名称目标物体也有多个不同的观测角度，且考虑到部分图像不存在遮挡现象，故本文从中选取了50幅存在遮挡现象的深度图像作为实验数据集。

考虑到选中图像中bunny、scull、turbine、duck和hasi的遮挡边界比较明显且对大多数遮挡情况具有较强的代表性，故本文将这5幅图像作为训练用图像，它们对应的原始深度图像、ground truth及图像中遮挡边界点集如图5所示。

图5 用于训练的深度图像、ground truth及遮挡边界点集Fig.5 The depth images, ground truth and occlusion boundary points set for training

基于上述思想，获得训练用图像中的样本点共21 889个像素点，其中正样本为8 835个遮挡边界点，负样本为13 054个非遮挡边界点。采用简单交叉验证的方法，设置训练集和测试集比例为8:2。将训练集在不同网络结构参数下多次进行测试，选定测试误差最小的BP网络模型。同时，为了评价本文方法的效果，以查准率、查全率和F-score作为评价遮挡边界检测效果的标准。

F-score=2查准率×查全率/(查准率+查全率)

5.2 对比实验及分析

5.2.1 基于不同特征的遮挡边界检测比较

为了验证本文所提特征能够更加全面准确地检测出待检测深度图像中深度值阶跃不明显的遮挡边界点并减少误检点，结合图4中的特征重要性。本文分别基于现有最大深度差特征、最大深度差特征结合本文所提最长投影线段特征进行实验。

表1展示了数据集中部分深度图像的实验结果。表1中:Ngt为ground truth中的遮挡边界点数;Nd为检测出的遮挡边界点数;Nr为检测正确的遮挡边界点数。

结合表1结果分析可知，本文方法在利用最大深度差特征进行遮挡检测时可以检测出大部分的遮挡边界点。与仅利用最大深度差特征相比，档该方法同时利用最大深度差特征和最长投影线段特征时，平均查准率、平均查全率和F-score值均有所提升，特别是对仅利用最大深度差特征进行检测时效果相对不好的rocker、mole图像的提升尤为明显。由此可见，最长投影线段特征的可行性和有效性。

5.2.2 3种不同方法的比较

为了验证本文所提非线性归一化方法在遮挡边界检测中的有效性。基于最大深度差特征结合最长投影线段特征分别在未归一化、线性归一化、非线性归一化3种情况下进行遮挡边界检测实验。根据经验，非线性归一化实验时取参数α=1、β=1，实验结果如图6所示。

表1 基于不同特征的遮挡边界检测结果Tab.1 The occlusion boundary detection results based on different features

图6 未归一化和不同归一化方法的遮挡边界检测结果Fig.6 The occlusion boundary detection results of unnormalization and different normalization methods

图6中从上到下5种复杂程度不同的视觉目标分别为knot、rocker、bunny、plane和mole。

结合图6的实验结果可知，在未对特征值进行归一化操作时，检测出的遮挡边界中离散点较多，连续性较差，而且误检点较多，如knot环部、bunny底部和mole的上部。

相较于未归一化和线性归一化的实验结果，采用非线性归一化操作后，遮挡边界检测较完整，且离散点和误检点较少，如bunny图像中左下部分，plane图像上下机身边界部分。由此可见，在进行非线性归一化操作之后，可以通过降低误检点的数量来提高检测效果。

为了进一步评估本文所提非线性归一化方法的效果，在对图6中实验结果进行定性分析的基础上又分别从查准率、查全率和F-score 3个方面进行了量化分析，分析结果如表2所示。

表2 不同归一化方法的查准率、查全率和F-scoreTab.2 The precision, recall and F-Score of different normalization methods

结合表2分析可知，在未进行归一化操作时，遮挡检测的查全率略微高于采取归一化方法的实验结果，但查准率普遍低很多，可见在未对特征向量中的特征值进行归一化操作时，检测结果中的误检点较多。在线性归一化操作中，查准率相对于未进行归一化操作明显有了很大的提升，F-score值也有明显的提高。

相较于线性归一化，本文方法在平均查准率、平均查全率和F-score值均有所提升。由此可见，采用本文方法归一化样本数据的特征值后能够准确检测出较多的遮挡边界点，充分验证了所提非线性归一化方法的可行性和有效性。

5.2.3 本文方法与其他方法比较

为了衡量本文方法的效果，将其与已有的检测精度较高的基于无监督思想的方法[13]、基于集成学习思想的方法[14]和基于监督学习的方法[17]进行了比较。表3给出了不同遮挡检测方法在平均查准率、平均查全率、平均F-score 3个指标方面的量化评估结果。

由表3可以看出，本文方法在测试数据集上的平均查准率要相对高于其他方法，平均查全率仅仅稍低于文献[14]方法，但在综合评价指标上，平均F-score要相对高于其他方法。

表3 不同遮挡边界检测方法的平均查全率、查准率和F-scoreTab.3 The average precision, recall and F-Score of different occlusion boundary detection methods

6 结 论

本文提出一种基于神经网络利用所提新特征联合现有遮挡相关特征对深度图像遮挡边界进行检测的方法。主要贡献在于：

(1)全面考虑深度图像中的深度信息和空间信息，提出了一种新的遮挡相关特征——最长投影线段特征，丰富了深度图像中用于检测边界遮挡的特征种类，提高了遮挡检测的准确性；

(2)提出了一种新的样本特征值非线性归一化方法，使得不同量纲和维度的特征之间具有了可比性，提高了分类器的检测精度；

(3)提出了一种新的遮挡边界检测方法，利用神经网络分类器解决深度图像的遮挡边界检测问题，将遮挡边界检测问题转换为分类问题，很好地完成了遮挡边界检测任务。