联合引导式深度图像超分辨的单目深度估计方法
2023-08-01刘鹏王建龙窦新宇
刘鹏 王建龙 窦新宇



摘 要:针对基于编解码结构的单目深度估计网络模型,对细粒度深度信息估计精度差和算力需求大的问题,提出了一种联合引导式深度图像超分辨率的单目深度估计方法。该方法设计了一种基于选择性特征融合的引导式深度图像超分辨率网络模型,并将其与单目深度估计网络模型结合在一个监督学习框架下估计深度。在NYU-Depth-V2数据集上,以三种单目深度估计网络模型开展实验,结果证明该方法具有更好的深度边界预测效果和较低的算力消耗指标。关键词:单目深度估计;深度图像超分辨;特征融合;编解码结构
中图分类号:TP391.4 文献标识码:A 文章编号:2096-4706(2023)11-0011-04
Monocular Depth Estimation Method Combining Guided Depth Image Super-Resolution
LIU Peng, WANG Jianlong, DOU Xinyu
(Intelligence and Information Engineering College, Tangshan University, Tangshan 063000, China)
Abstract: Aiming at the problem of poor fine-grained depth information estimation precision and high demand for computational power in monocular depth estimation network models based on encoder-decoder structure, a monocular depth estimation method combining guided depth image super-resolution is proposed. This method designs a guided depth image super-resolution network model based on selective feature fusion, and combines it with monocular depth estimation network model to estimate depth under a supervised learning framework. This paper performs experiments with three monocular depth estimation network models on NYU-Depth-V2 dataset, and the results prove that the method has a better depth boundary prediction effect and lower computational power consumption index.
Keywords: monocular depth estimation; depth image super-resolution; feature fusion; encoder-decoder structure
0 引 言
深度圖像每个像素点记录着摄像机与场景中物体之间的距离信息,能够准确反映出场景三维空间结构信息,在自动驾驶、场景理解、三维重建等领域有着广泛的应用。从单幅RGB图像中恢复深度图像的单目深度估计方法,是移动设备感知环境的主要手段之一,但单目深度估计病态性的本质[1],使其一直是计算机视觉领域的难点课题。
目前效果较好的单目深度估计均采用的是基于深度学习的方法[2,3],从大量单幅RGB图像到对应视角的深度图像的映射过程中提取深度线索,完成深度图像的单目估计。其中,基于编解码结构的卷积神经网络(Convolutional Neural Network, CNN)是主流的设计模型。这类模型的设计思路是:编码器基于图像分类网络,通过在大型图像分类库(如ImageNet[4])上的预训练完成参数的初始化,在对输入图像进行渐进下采样过程中,逐步增加感受野,将RGB图像低级特征分组为抽象的高级特征;……
