APP下载

基于场景模态深度理解网络的单目图像深度理解

2021-02-05李大威

计算机工程 2021年2期
关键词:模态深度特征

陈 扬,李大威

(东华大学信息科学与技术学院,上海 201620)

0 概述

随着信息技术的发展,视频场景深度(距离)信息的重要性日益显现。深度图像(也称距离图像)是一种常用的场景深度描述方式,其中每个像素值代表场景中某一点与传感器或扫描仪的距离。目前,深度图像已广泛应用于无人驾驶[1-2]、智能机器人[3]以及人脸识别[4]等领域。例如在无人驾驶领域,车辆在行驶中需实时获取包含周围行人与车辆距离信息的深度图像。目前,Kinect、立体匹配以及激光雷达等现有深度图像获取方法所需设备昂贵且采集成本较高,捕获的深度图像存在分辨率低与大面积深度缺失等问题。基于单目彩色图像的深度理解技术是使用模式识别或机器学习算法从一幅RGB图像中理解出场景中每个像素与传感器的距离,由于其具有成本低廉、性能稳定等优势,因此成为研究人员关注的热点。而在单目彩色图像深度理解技术中,相机在成像时会不可逆地损失景物三维结构信息,造成一张彩色2D图像可与无数真实场景对应,且单幅图像也缺乏用于恢复场景深度的有效辅助线索[5]。因此,单目彩色图像深度理解成为当前计算机视觉领域极具挑战性的研究课题之一。

早期关于单目彩色图像深度理解的研究主要基于图像中物体的几何结构特点以及物体与物体的相互关系进行计算,例如从阴影中恢复形状[6]、从对焦[7]或离焦信息[8]获取深度等。上述方法仅适用于有限种类的场景,并需要额外的辅助信息,严重限制了模型的泛化能力。……

登录APP查看全文

猜你喜欢

模态深度特征
如何表达“特征”
不忠诚的四个特征
深度观察
深度观察
深度观察
基于HHT和Prony算法的电力系统低频振荡模态识别
由单个模态构造对称简支梁的抗弯刚度
线性代数的应用特征
多模态话语模态的协同及在外语教学中的体现