黄超凡，张鹏博

（四川大学计算机学院,成都 610065)

0 引言

立体匹配是计算机视觉中的重要问题，视差图可广泛用于三维重建、自动驾驶等三维应用。它的输入是一对经过图像矫正的两幅图像，输出是两幅图像中场景同名点的视差图（沿水平方向的位移），视差图一般用一幅灰度图表示。由于光照影响，相机参数不同，图像噪声以及遮挡和无纹理区域等因素，建立同名点对应成为一个病态问题。如何度量左右图中的像素点对是场景同名点的成像？为了简化判断和加强约束条件，立体匹配过程显示或隐式的建立在两点基础假设上[1]。1、朗伯体表面（Lambertian Surface），场景同一点从不同视点的成像没有辐射差异，表现为亮度恒定；2、视差平滑性，点的视差在邻域附近是平滑变换的，往往假设为局部区域视差不变。实际成像往往由于相机参数设置和光照不同等造成辐射差异，视差在深度不连续处（常为遮挡区域）也违背了视差平滑性假设。

近年来立体匹配技术已有了充分发展，许多高准确度和高效率的方法被提出。这些方法一般分为两类：全局立体匹配算法和局部立体匹配算法[2-3]。全局算法一般建立一个能量函数，在整幅图上求解优化结果，经典的全局算法有基于置信传播的Belief Propaga⁃tion[4]、基于图割的 Graph Cut[5-6]、基于动态规划的 Dy⁃namic Programming[7]、基于扫描线优化的 Scanline Opti⁃mization[8]；全局算法能生成高质量的视差图，但计算量巨大。局部算法相对全局算法计算效率高，部分算法已经达到了实时效果[14]，近年来局部算法已经能达到全局算法的质量[9]，经典的局部立体算法[10-14]。局部立体匹配算法的代价聚合步骤可视为在DSI上的滤波。导向滤波和双边滤波类似，都具有保持边缘的特性，前者计算复杂度与窗口尺寸无关。初始代价计算常用的有AD(Absolutely Difference)，SD(Square Difference)，彩色图像计算匹配代价一般有两种处理方式。一种转换为灰度图求AD，一种三通道分开求AD,再求和作平均。第一种丢失了彩色图像的部分信息，第二种没有考虑三通道的色彩权重不同，而是采取了相同的权重，本文使用了加权的三通道绝对差。

1 算法实现

文献[1]局部立体匹配算法分为四步：1，初始匹配代价子计算2，代价聚合3，视差选择4，视差精化。接下来部分按照这个流程来介绍。

1.1 代价计算

彩色图像的RGB三分量作绝对差，由于三个分量携带色彩信息不同，各个通道差可赋予权重。

图像的梯度是一阶导数，对亮度变化剧烈的区域响应最强，对亮度平缓区域响应较弱，梯度受亮度偏置的影响较小。像素点的梯度绝对差定义：

∇xI(p)表示p点水平方向的梯度。

联合点的两种差异度量，初始代价计算为：

β和α为两种匹配差异度量的权重系数，此处取α=1-β；τg为梯度的截断阈值。

1.2 代价聚合

C(p,d)是一个三维的数组，代价聚合可被视为固定视差d，在视差空间体（DSI）上一个切片的滤波。传统的box filter[1]计算效率高，但是产生较差的视差图，特别是边缘模糊。双边滤波[15]保持边缘，得到高质量的视差图，但时间复杂度为Ο(Nr)，r为窗口尺寸。导向滤波[16]的时间复杂度与滤波窗口尺寸无关，只与像素有关，且具有良好的保持边缘效果。代价聚合的形式化定义：

j为p的领域像素，此处的权重系数W(j,p)使用导向滤波的权重Wj,p(I)，I是左图彩色图转换的灰度图，作为导向图。

ω方形窗口ωk内的像素数量，μk和σk是I上位于窗口ωk的像素均值和方差，ε是一个平滑参数。

1.3 视差选择

代价体滤波得到C'(p,d)后，采用Winner-Take-All策略，即选取最小的匹配代价作为最优视差d。

1.4 视差精化

采用左右一致性检测：对于左图中的一个点p，求得的视差值是d1，那么p在右图里的对应点应该是(pd1)，(p-d1)的视差值记作 d2。若|d1-d2|＞1，p标记为遮挡点，需要推断视差。对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋为pl和pr的视差值中较小的那一个：d(p)=min(d(pl),d(pr))。

2 实验

本文算法用C++实现，实验机器配置为i5-6700HQ CPU和8G RAM、NVIDIA GTX965M GPU。实验中各参数设置：τg=3，ε=0.00001，α=0.1，r=9。测试图为Middleburry[18]Tsukuba和Teddy立体像对。视差图如下：

图1

3 结语

本文针对彩色图的立体匹配，使用了加权的三通道绝对差作为颜色差异度量，与RGB色彩空间模型一致；代价聚合过程视为DSI视差空间体切片上的滤波，使用导向滤波进行滤波，避免了边缘肥胖的视差图，由于导向滤波的时间效率为O(N),与滤波窗口尺寸无关，能有效提高算法时间效率。局部立体匹配算法的四个步骤是固定的，通过四个步骤的组合开发出最优的算法流程。近年来随着设备的进步，图像朝高分辨率和大视差范围变化，立体匹配面临新的挑战。

参考文献：

[1]Scharstein D,Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].International Journal of Computer Vision,2002,47(1-3):7-42.

[2]Tombari F,Mattoccia S,Stefano L D,et al.Classification and Evaluation of Cost Aggregation Methods for Stereo Correspondence[C].Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[3]Gong M,Yang R,Wang L,et al.A Performance Study on Different Cost Aggregation Approaches Used in Real-Time Stereo Matching[J].International Journal of Computer Vision,2007,75(2):283-296.

[4]Sun J,Zheng N N,Shum H Y.Stereo Matching Using Belief Propagation[J].IEEE Transactions on Pattern Analysis&Machine Intelli-gence,2003,25(7):787-800.

[5]Kolmogorov V,Zabih R.Computing Visual Correspondence with Occlusions Using Graph Cuts[C].Proc.of the International Conference for Computer Vision，2001:508-515 vol.2.

[6]http://www.cs.cornell.edu/～rdz/graphcuts.html.

[7]Wang L,Liao M,Gong M,et al.High-Quality Real-Time Stereo Using Adaptive Cost Aggregation and Dynamic Programming[C].International Symposium on 3d Data Processing,Visualization,and Transmission.IEEE Computer Society,2006:798-805.

[8]Mattoccia S,Tombari F,Stefano L D.Stereo Vision Enabling Precise Border Localization Within a Scanline Optimization Framework[C].Asian Conference on Computer Vision.Springer-Verlag,2007:517-527.

[9]Hosni A,Bleyer M,Gelautz M.Secrets of Adaptive Support Weight Techniques for Local Stereo Matching[J].Computer Vision&Image Understanding,2013,117(6):620-632.

[10]Hosni A,Bleyer M,Gelautz M,et al.Local Stereo Matching Using Geodesic Support Weights[C].IEEE International Conference on Image Processing.IEEE,2010:2093-2096.

[11]Yoon K J,Kweon I S.Locally Adaptive Support-Weight Approach for Visual Correspondence Search[C].Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005:924-931.

[12]Mei X,Sun X,Zhou M,et al.On Building an Accurate Stereo Matching System on Graphics Hardware[C].IEEE International Conference on Computer Vision Workshops.IEEE,2011:467-474.

[13]Rhemann C,Hosni A,Bleyer M,et al.Fast Cost-Volume Filtering for Visual Correspondence and Beyond[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):504.

[14]Richardt C,Orr D,Davies I,et al.Real-Time Spatiotemporal Stereo Matching Using the Dual-Cross-Bilateral Grid[C].European Conference on Computer Vision Conference on Computer Vision.Springer-Verlag,2010:510-523.

[15]Tomasi C,Manduchi R.Bilateral Filtering for Gray and Color Images ICCV[J].Proc Iccv,1998:839-846.

[16]He K,Sun J,Tang X.Guided Image Filtering[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2013,35(6):1397-1409.

[17]Hirschmüller,Heiko,Scharstein,Daniel,Hirschm,Heiko,et al.Evaluation of Cost Functions for Stereo Matching[J].2007:1-8.

[18]http://vision.middlebury.edu/stereo/data/