赵圆圆，施圣贤

融合多尺度特征的光场图像超分辨率方法

赵圆圆，施圣贤*

上海交通大学机械与动力工程学院，上海 200240

光场相机作为新一代的成像设备，能够同时捕获光线的空间位置和入射角度，然而其记录的光场存在空间分辨率和角度分辨率之间的制约关系，尤其子孔径图像有限的空间分辨率在一定程度上限制了光场相机的应用场景。因此本文提出了一种融合多尺度特征的光场图像超分辨网络，以获取更高空间分辨率的光场子孔径图像。该基于深度学习的网络框架分为三大模块：多尺度特征提取模块、全局特征融合模块和上采样模块。网络首先通过多尺度特征提取模块学习4D光场中固有的结构特征，然后采用融合模块对多尺度特征进行融合与增强，最后使用上采样模块实现对光场的超分辨率。在合成光场数据集和真实光场数据集上的实验结果表明，该方法在视觉评估和评价指标上均优于现有算法。另外本文将超分辨后的光场图像用于深度估计，实验结果展示出光场图像空间超分辨率能够增强深度估计结果的准确性。

超分辨；光场；深度学习；多尺度特征提取；特征融合

1 引 言

光场成像的概念最早由Lippmann[1]于1908年提出，经过较长一段时间的发展，Adelson和Wang[2]于1992年搭建了全光相机模型，随后Ng等人[3]于2005年设计出了手持式光场相机。作为新一代的成像设备，近年来光场相机已经被广泛应用到三维测试领域，如：三维流场测试[4-8]、三维火焰温度场重建[9]以及三维物体形貌重建[10-11]等。……