全景视频最小变形双极方形映射研究
2021-10-15赵海武吴成家上海大学通信与信息工程学院上海200444
赵海武 陈 钰 吴成家 何 鸣 葛 平(上海大学通信与信息工程学院 上海 200444)
0 引 言
全景视频作为VR视频的重要来源之一,其本质是由一个360度的相机拍摄所得的球面视频。同传统的平面矩形视频相比,全景视频具有更大的信息量。因为全景视频是球面视频,采取传统的视频编码标准HEVC、AVS2无法直接对球面视频进行编码和存储。对全景视频进行采样并转换成平面矩形视频,这一过程称为映射。如何将球面视频映射为平面矩形视频,是全景视频进行后续处理的必经过程。
目前最常用的映射算法是经纬图映射(Equi-Rectangular mapping Projection,ERP)[1]。以单位球为例,ERP在经度和纬度方向分别做均匀采样,将所得像素排列成一个宽高比即W和H的比为2的平面矩形视频,如图1所示。显然ERP会导致极点附近严重过采样,景物变形程度很大。但因为该方法简单,目前作为全景视频的基本存储格式。
另一种常用的映射算法为六面体映射(Cubic Mapping Projection,CMP)[2]。CMP将球面视频映射到外切正六面体的六个面上,然后对六个面进行排列得到矩形视频。相比于经纬图映射,CMP可以减小数据冗余,但采样密度不均匀,且排列后会出现较多人工边界(球面上内容相邻而排列后不相邻),人工边界会降低内容的连续性,不利于后续的编码压缩。为了进一步降低过采样,人们又提出了正八面体映射(OctaHedral mapping Projection,OHP)[3]、正二十面体映射(IcoSahedral mapping Projection,ISP)[4]等。这一类方法统称为“基于正多面体的映射”。随着面的增多,多面体的表面越来越接近球面,过采样程度也就越来越小。但是随着面的增多,将映射面排列成一个矩形的方法也越来越复杂,产生的人工边界也越来越多,过采样程度下降带来的好处并不明显。……
