中国科学院深圳先进技术研究院神经工程研究中心夏泽洋研究团队与上海交通大学赵群飞研究团队在基于视觉的场景三维重构研究方面取得进展。相应成果为“Yan TM, Gan YZ, Xia ZY, et al. Segment-based disparity refinement with occlusion handling for stereo matching [J]. IEEE Transactions on Image Processing, 2019, 28(8): 3885-3897(立体匹配中的视差优化方法)”。

立体匹配是三维重建的核心步骤，其输入是一对经过矫正的彩色图像，通过匹配同一三维物体在左右两幅图像上的投影点得到视差。目前，已有的立体匹配方法在无遮挡区域时，实现了较高的匹配精度，但在有遮挡区域时，匹配误差较大。同时，已有方法的计算效率普遍较低。因此，该研究提出了一种基于分割的立体匹配视差优化算法，以解决包含遮挡区域图像的快速立体匹配问题。

该研究所提出的基于分割的立体匹配视差优化方法直接优化由彩色参考图像得到的初始匹配最小代价对应的视差(WTA)。首先，参考图像被分割为超像素，视差优化方法直接在超像素上进行处理；然后，通过对超像素平均视差的估计得到一个前置平行视差图；之后，对每个超像素分配一个平面以优化得到一个倾斜表面视差图。前置平行视差图到倾斜表面视差图的转换通过一个全局优化层和一个局部优化层优化得到。在全局优化层中，采用马尔科夫随机域优化算法对前向平行视差图进行估计；在局部优化层中，利用随机抽样一致算法与基于概率的视差平面算法来优化倾斜表面视差图。在 Middlebury 2014 和 KITTI 2015 数据库上对所提出的方法进行了测试并与当前最优的视差优化方法进行了比较。在计算精度方面，所提出方法排名第 6 位；在计算效率方面，所提出方法比其他方法快 30 倍以上。

该研究所提出的基于分割的立体匹配视差优化方法有效地解决了有遮挡时场景的快速、精确三维重建问题，为工业机器人等领域中的实时三维场景重建以及特殊环境下医疗机器人应用中的组织和器械的实时三维重建奠定了基础。

基于分割的视差方法总体流程