兰诚栋 林宇鹏 方大锐 陈建

随着当代计算技术和多媒体技术的飞速发展,追求用户高质量体验的沉浸式视频取得了长足的发展[1−2].一个多媒体系统,其提供的显示和追踪技术如果可以用来在时间和空间上忠实地再现现实世界的感觉和行为,就被称为沉浸[3].在视觉领域,沉浸感就是指借助设备显示技术,能够让参与到虚拟环境中的人们产生身临其境的临场感.2016年,多媒体产品工业界对于虚拟现实VR 技术产生浓厚兴趣,Facebook、谷歌、微软、苹果等大公司都开展了相关技术研发,并发布了相关VR 产品.视频呈现的历史,正是追逐更强沉浸式体验的技术发展过程.

为了增强沉浸感和互动性,需要将现实世界的三维场景的全部信息进行记录,并且能够为用户进行无失真的重现.计算机视觉领域中,场景的表示与重建技术是该问题主要的解决方案[4−5].

依据原始图像的数量可以将三维重建方法分为单视点图像三维重建和多视点图像三维重建.单视点图像三维重建方法是基于单幅2D图像提取场景深度信息来构建立体视觉图像[6−7].由于多视点图像中包含更强的场景深度线索―视差,基于图像的绘制技术(Image-based render,IBR)成为一种近年来较为热门的三维重建方法.该方法拍摄图像用于采集光线,通过绘制对这些光线进行重组[8−9].

采集和重建是实现IBR 渲染技术的主要方法.目前通用的方法需要的摄像机数量较多,采集数据量大,带来压缩和存储的巨大压力……