基于复杂度差异的VVC中360度视频CU划分快速决策
2021-07-28张晨昕
张晨昕
(北方工业大学,北京 100144)
0 引言
随着虚拟现实(VR)技术的进步,全向视频(360度视频)在最近几年越来越受欢迎。其内容通常在经度上跨度360度,在纬度上跨度180度。摄像机捕获的视频导出后进行图像拼接以获得球形场景,然后将其投影到2D平面上进行编码[1]1241。随着新一代视频编码标准VVC的到来,VCEG和MPEG发布了新一代视频压缩技术提案征集(CFP)[2],等距柱状投影(ERP)是CFP中使用的所有360度视频序列的源投影格式,也是使用最广泛的投影格式,但其视频压缩效率并不高,由于在两极区域过采样,存在大量对编码效率产生负面影响的冗余。
VVC标准有望提供高效的360度视频编码解决方案,非常适合解决虚拟现实视频应用不断增长的需求[1]1250。与HEVC不同,VVC中引入了四叉树嵌套多叉树(QTMT)的划分结构,由于非对称分区的引入,编码的计算代价与时间代价也是巨大的,在全帧内测试配置下,VVC测试软件(VTM)的帧内编码复杂度是HEVC测试软件HM的18倍[3]。仅禁用二叉树划分模式(BT)后,编码时间平均节省75.3%;仅禁用三叉树划分模式(TT)后,编码时间平均节省47.6%;同时禁用BT与TT,编码时间平均节省91.7%[4]。不论是对于普通视频还是360度视频,优化CU划分过程采取的方法主要分为2类,即传统的人工特征提取方法和基于学习的方法。一方面,传统的人工方法如文献[5]、文献[6]提取的特征包括已编码CU的深度、图像纹理特征等,通过比较特征快速决策CU分区;另一方面,随着机器学习技术的发展,基于学习的方法也涌现了出来[7-8]。但是,在VTM的编码过程中生成了长与宽不相等的各类矩形,因此,使用网络进行学习将大大增加参数量,并导致计算的复杂性显著上升。……
