基于多流对极卷积神经网络的光场图像深度估计
2020-09-02王亚飞
计算机应用与软件 2020年8期
王 硕 王亚飞
(北京信息科技大学信息与通信工程学院 北京 100101)
0 引 言
光场相机使用一个微透镜阵列来捕获场景,得到一个阵列的子孔径图像,可使用这些图像进行图像深度信息的恢复[1]。其中最有代表性的是使用从图像阵列中提取的极线平面图像EPI来提取深度信息。EPI由各种斜率的线组成,使得在深度估计上的图像处理和优化变得容易处理。目前光场图像深度估计相关工作可分为两类:基于优化的方法和基于学习的方法。
基于优化的方法有:Wanner等[4]使用结构张量来计算EPI的斜率,并使用快速全变差去噪滤波器来细化初始视差图。Zhang等[5]使用EPI找到匹配线,并提出旋转平行四边形算子来重新移动遮挡对深度估计的影响。文献[6-7]提出增加正则化项的参数来保证噪声遮挡区域的鲁棒性。文献[8-9]利用重聚焦线索,在处理重复纹理和对抗噪声方面的性能有所提升。Anisimov等[10]提出了一种结合立体匹配和直线拟合的算法,对物体边界信息的估计进行改善。这些传统的基于优化的方法在计算时间和性能之间有不可避免的权衡。
近年来有学者提出使用深度学习的方法来进行光场图像深度估计。Johannsen等[11]将基于方向的深度重建与基于生成深度字典的稀疏光场编码进行联合,在多层视差估计场景中取得了较好的效果。文献[12-13]提出了一个由编码和解码部分组成的端到端深度网络体系结构,提升了计算效率。文献[14]采用EPI patch作为神经网络的输入,以分类代替回归的方式得到初始深度值,但是该方法执行一次运算只能得到一个像素的深度信息,大大增加了算法耗时。……
登录APP查看全文
