面向三维视频的虚拟视点合成技术研究进展

2021-01-22张博文殷海兵

计算机工程与应用 2021年2期

张博文，周洋，殷海兵

杭州电子科技大学通信工程学院，杭州310018

相较于二维平面多媒体服务，三维（Three-Dimension，3D）立体多媒体服务能给观众带来身临其镜的真实感，极大地引起用户的关注。近几年来，裸眼立体视频、虚拟现实等3D 多媒体服务已走入家庭。3D 多媒体技术是人类通过左眼和右眼分别获得具有视差信息的左右视点场景信息，并在大脑中相互融合得到具有立体感的三维信息。在3D 视频技术中，人们利用双目摄像机分别对同一场景进行拍摄，然后再依靠计算机视觉技术获得立体视频图像。但如何依靠计算机视觉技术获得更高质量的3D视频图像是研究者的主要目标。

在3D视频中，自由视点视频（Free-Viewpoint Video，FVV）技术是一个非常重要的发展方向，该视频格式是由视频信息加深度信息组成。在解码端通过虚拟视点绘制技术合成不同视角的视频图像，可广泛应用于虚拟现实和3D视频信号处理过程中。为了能够获取任意视点条件下所能观察到的图像，最原始的方法是在不同视点处均设置摄像机采集图像。然而无论使用多少部摄像机同时对某个事物进行摄录，最终都无法获取任意视点所观察的图像。但依靠视点合成技术可以根据已拍摄的图像近似绘制出未知视点处的图像，从而极大地减少了拍摄相机的布置数。然而当前绘制技术会产生空洞、伪影、偏移等缺陷，严重影响了用户体验质量。