徐 杨，占云龙，刘 昭，赵鲁阳

（中国科学院 上海微系统与信息技术研究所 无线传感网与通信重点实验室 上海200050）

基于指导滤波立体匹配算法的测距系统

徐 杨，占云龙，刘 昭，赵鲁阳

（中国科学院 上海微系统与信息技术研究所 无线传感网与通信重点实验室 上海200050）

基于SAD立体匹配算法的传统测距系统存在精度低、对光照敏感的缺点，为了克服以上缺点，我们实现了基于指导滤波立体匹配算法的双目立体视觉测距系统。本系统首先实现了摄像机的标定，其次使用目前在 Middlebury Stereo benchmark Version2上排名第一的指导滤波立体匹配（Image-guided Stereo Matching）算法完成了立体匹配，最后通过计算得到的深度图完成了测距功能。实验表明，该测距系统比传统的基于SAD的测距系统具有更高的精度和更强的鲁棒性。

测距；立体视觉；指导滤波；立体匹配

目前在机器人自主导航方面，立体视觉的应用前景广阔。相比于造价昂贵的激光雷达，立体视觉的硬件成本仅为其五分之一左右；而相比于超声波测距，立体视觉又有着较远的测距距离。得益于高精度的立体匹配算法和的不断提升的硬件运算速度，目前立体视觉已经能在测量精度和实时性上满足了特定场景下的需要，如在无人机障碍物躲避上已经出现较为成熟的商业化产品[1]。

双目立体视觉测距通过双目摄像机同时拍摄的左右图像对进行立体匹配，根据立体匹配得出的视差图算出目标物体的距离[2]。立体匹配在整个测距系统中起着至关重要的作用，传统的立体匹配算法如SAD虽然便于实时实现，但存在着视差图精度低，易受光线影响等缺点，导致其并不能很好的满足实际的测距需求。文中的立体匹配算法采用了最近提出的IGSM[3]算法保证了最终测距的高精度和对光照的鲁棒性。

1 双目立体视觉测距原理

文献[4]的提出双目横向平行对准模式，即两个摄像机成像平面处于同一平面并与光轴垂直，两摄像机焦距相等，如图1所示。

其中，P为空间中的一点，OR，OT分别为左右摄像机的焦点，xR，xT分别为P点投影在左右摄像机成像平面的P1，P2点的水平距离。

根据视差原理模型[5-7]结合相似三角形原理推导

图1 平行双目视觉模型

可知：

其中b为基线距离，f为焦距，d为视差值，Z为摄像机坐标系下的距离，注意f以像素为单位。

2 摄像机的标定

标定采用zhang[8]基于棋盘格的相机标定方法，标定模板是角点数为的棋盘，棋盘格大小为16cm×16cm。为了取得比较好的相机标定效果，一般采集10～20组图片，为此我们采集了16组大小为384×512的图片并使用Opencv[9]进行标定,标定过程如图2至图3所示。

图2 待标定的图像

图3 标定后的图片

标定的参数结果如下：

其中Ml和Mr是左右相机的内参数，R是左右相机的旋转矩阵，T是左右相机的平移矩阵，Dl和DR是左右相机的畸变参数。

3 立体匹配算法

D.Scharstein[10]等人将现有的立体匹配算法详细比较后，将这一类的算法总结归纳为五大步骤：预处理、匹配代价计算、匹配代价聚合、视差计算、视差细化。其中每一个步骤中均可以采用不同的方法实现。

指导滤波立体匹配（IGSM）算法[3]属于立体匹配中局部方法的一种，相较于传统的立体匹配算法，有着较高的精度和较强的鲁棒性，能在多种场景下得到精确的视差图，现将其流程图介绍如下：

图4 指导滤波算法流程图

在IGSM算法中，预处理步骤采用最近提出的指导滤波算法[11]，指导滤波算法可以平滑原图像中同质性区域和噪声点，从而使得到的视差图有更好的连续性，更重要的是指导滤波能够有效的保持原图像的强边界，从而消除由于滤波带来的视差图中物体边缘模糊的不利影响；

在匹配代价函数的构造上，IGSM算法结合指导滤波[11]后的图像梯度信息和AD-Census[12]，使其包括更丰富的梯度信息，并保留了AD-Census对光照有较强鲁棒性的优点，具体公式如下：

其中的α、β、ξ、ε均为归一化的比例系数，取值从0到1。公式（10）表示截断函数，对应到公式（9）共有4个不同的参数取值，具体的参数含义请参考文献[3]。

匹配代价聚合使用指数步骤[13]，兼顾了运算效果和运算速度；

视差计算上直接采取赢者通吃的策略（Winner Take All），简单的取极小值即可,如公式（11）所示:

最后的视差细化采用对异常视差点分类，有针对性的对异常点的视差值进行恢复,明显的提升了视差图的精度。

在实验中该算法使用的参数列表如表1。

表1 参数数值

在不同的场景下，可以适当的修改上述参数。例如，在光照变化强烈的场景下可以适当增加β的数值，提高Census变换在匹配代价函数中的比重。

IGSM算法在Middlebury测试平台[14]和KITTI[15]测试平台均取得了较高的精度，具体结果请参考文献[3]。其中Middlebury测试集主要为室内场景，而KITTI测试集主要为真实街景，IGSM算法在两种测试集上均取得了较好的结果，证明该算法可以适应不同场景需求，具有较强的鲁棒性。

4 实验结果与分析

本系统首先对摄像头进行标定，得到摄像头的内外参数。该标定只进行一次可认为是离线初始化。通过得到的参数对摄像头采集的左右图像对进行立体矫正得到校正后的图像对，校正后的图像对经过IGSM算法进行立体匹配即得到了视差图，最后的视差图通过公式（2）简单计算即得到深度图，即完成了整个测距过程。具体的流程图如图5。

图5 测距系统流程图

4.1 测距实验结果

测距实验使用的摄像机为 Grey Point的bumblebee2-xb3相机，软件平台为 Visual Studio 2010和matlab 2010b。

通过左右摄像头采集实验图像如图6所示。

图6 左右摄像头采集的图像对

根据标定参数对实验图像进行立体矫正，结果如图7所示。

图7 立体矫正后的图像对

采用IGSM算法对矫正后的图像进行立体匹配，得到的视差图如图8所示，对视差图进行三角变换得到的深度图如图9所示。

图8 视差图

图9 深度图

其中深度图中的像素点的值即表示该点到摄像机的距离，实验中视差的最大值dmax为110，基线距离b为24 cm，焦距f为389.8。

4.2 测距鲁棒性和精度比较

Grey Point相机自带的软件平台Triclops SDK能够实时输出深度图的结果，其采用的立体匹配算法为SAD。

图10 Triclops实时输出的深度图

从上图可以看出，Triclops实时输出的深度图在很多情况下都会出现大面积的空白区域，即无法进行正确匹配出视差值。原因在于SAD算法易受光照影响，而IGSM相比较而言就受光照影响较小，表现出了更强的鲁棒性。

为了比较本系统和SAD测距系统的测量精度，采用激光测距仪的测量值作为实测距离，选取10个可靠的深度值点来比较两种系统的测距精度。

从上表中可以明显地看出IGSM算法测距精度要高于SAD算法的精度。

4.3 测距系统的耗时分析

在整个测距系统中，标定是离线一次性完成，立体矫正耗时是毫秒级别，计算量主要集中在立体匹配IGSM上，为了衡量了IGSM算法的计算效率，分别在matlab平台和Visual Studio平台下实现。在383×484大小的图片，最大视差值为20情况下，VS版本的算法运行时间是10.8秒，而maltab下运行时间为132.3秒。VS版本计算速度比matlab快10倍。实现的硬件为Intel Core 2 Duo E8400，主频3GHz，内存3GB的台式机。

5 结 论

文中对双目立体视觉测距系统进行了理论研究与实验验证，证明了该测距系统的可靠性和高精度。

表2 测距实验结果表

指导滤波立体匹配算法具有较强的鲁棒性和较高的精度，能够在多种场景下获得较高精度的视差图，这保证了后续测距的可靠性和高精度。

尽管IGSM算法优势明显，但其相比较SAD算法而言，计算更为复杂，目前还不能获得实时性的测距，但通过比对已经能在GPU上能够实时实现的AD-Census[12]算法，IGSM的算法复杂度相对更低，如果采用GPU并行加速的话，IGSM算法也是可以达到实时性的计算效果。此外我们发现匹配代价函数中的比例系数需要结合不同的场景下微调才能取得较好的结果。因此，GPU并行化和比例系数的寻优工作将是后续的研究方向。

[1]Zhou G，Fang N L，Tang N K，et al.Guidance:A visual sensing platform for robotic applications[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）.IEEE Computer Society，2015:9-14.

[2]章毓晋.图像工程.下册，图像理解 [M].清华大学出版社，2012.

[3]Zhan Y，Gu Y，Huang K，et al.Accurate Imageguided Stereo Matching with Efficient MatchingCost and Disparity Refinement[J].IEEE Transactions on Circuits&Systems for Video Technology，2015:1-1.

[4]刘盼，王金海.基于平行双目立体视觉的测距系统[J].计算机应用，2012，32（S2）:162-164.

[5]王琳，赵健康，夏轩，等.基于双目立体视觉技术的桥梁裂缝测量系统 [J].计算机应用，2015，35（3）:901-904.

[6]Hartley R，Zisserman A.Multiple view geometry in computer vision[M].Cambridge university press，2003.

[7]迟健男.视觉测量技术 [M].机械工业出版社，2011.

[8]Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）:1330-1334.

[9]张静．OpenCV2计算机视觉编程手册 ［M］．北京:科学出版社，2007．

[10]Scharstein D， SzeliskiR.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]//Stereo and Multi-Baseline Vision，2001.（SMBV 2001）.Proceedings.IEEE Workshop on.IEEE，2001:131-140.

[11]Kaiming H，Jian S，Xiaoou T.Guided image filtering[J].IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35（6）:1397-1409.

[12]Mei X，Sun X，Zhou M，et al.On building an accurate stereo matching system on graphics hardware[C]//Computer Vision Workshops（ICCV Workshops），2011 IEEE International Conference on. IEEE，2011:467-474.

[13]Yu W,Chen T,Hoe J C.Real Time Stereo Vision Using Exponential Step Cost Aggregation On GPU [C]//2009 16th IEEE International Conference on.Image Processing（ICIP），2009:4281-4284.

[14]Scharstein D， SzeliskiR.Middlebury stereo evaluation.2010.[EB/OL].http://vision.middlebury. edu/stereo/eval/.

[15]Geiger A，Lenz P，Urtasun R.Are we ready for autonomous driving the kitti vision benchmark suite.in Proc.IEEE Conf.CVPR 2012.IEEE,June 2012，pp.3354-3361.[EB/OL].http://www.cvlibs. net/datasets/kitti/.

Distance measurement system based on image-guided Stereo Matching algorithm

XU Yang，ZHAN Yun-long，LIU Zhao，ZHAO Lu-yang
（Key Laboratory of Wireless Sensor Network&Communication,Shanghai Institute of Microsystem and Information Technology，CAS，Shanghai 200050，China）

Traditional distance measurement system based on SAD stereo matching algorithm has low precision and is sensitive to light.To overcome those shortcomings,parallel binocular stereo vision distance measurement system based on Image-guided Stereo Matching algorithm was built.Calibration were accomplished at first.The stereo matching was accomplished by using Image-guided Stereo Matching （IGSM）algorithm which ranks 1st on Middlebury Stereo benchmark Version2.Distance measurement was completed by obtaining depth map at last.The experiment show the higher accuracy and stronger robustness of the method compared to the traditional distance measurement system based on SAD algorithm.

distance measurement；stereo vision；image-guided；stereo matching

TN919.82

：A

：1674－6236（2017）01-0031-05

2016-12-25稿件编号：201512258

徐 杨（1990—），男，河南信阳人，硕士研究生。研究方向：立体匹配、三维重建。