何 也，张旭东，吴 迪

特征融合网络：多通道信息融合的光场深度估计

何 也，张旭东，吴 迪

(合肥工业大学计算机与信息学院，安徽 合肥 230009)

光场相机可以仅在一次拍摄中记录场景的空间和角度信息，所生成的图像与传统二维图像相比包含了更多的信息，在深度估计任务方面更具有优势。为了利用光场图像获取高质量的场景深度，基于其多视角的表征方式，提出了一种具有多通道信息高效融合结构的特征融合网络。在人为选择特定视角的基础上，使用不同尺寸卷积核来应对不同的基线变化；同时针对光场数据的多路输入特点搭建了特征融合模块，并利用双通道的网络结构整合神经网络的前后层信息，提升网络的学习效率并减少信息损失。在new HCI数据集上的实验结果显示，该网络在训练集上的收敛速度较快，可以在非朗伯场景中实现精确的深度估计，并且在MSE指标的平均值表现上要优于所对比的其他先进的方法。

光场；深度估计；卷积神经网络；特征融合；注意力；多视角

在计算机视觉领域中，深度反映了场景的三维空间信息，是超分辨率重建、目标识别、语义分割、显著性检测等计算机视觉任务的基础。因此，深度估计的研究对目前计算机视觉领域的发展具有重要的意义。传统的手持相机成像方式是在一个固定的视点采集场景的信息，生成的图片中不直接包含深度信息，依靠此类图片估计出可靠的深度信息不仅困难，而且很难满足对精确度的要求。……