APP下载

基于预测划分卷积神经网络的全景视频快速编码算法

2025-08-03向海陈芬秦裔清李旭彭宗举

计算机应用研究 2025年6期
关键词:全景复杂度编码

Fast coding algorithm based on predictive partition convolutional neural network for 36O-degree video

Xiang Hai,Chen Fen ↑ ,Qin Yiqing,LiXu,Peng Zongju (SchoolofElectricalamp;ElectronicEnginering,Chongqing UniversityofTechnology,Chongqing 40oo54,China)

Abstract:Inorder tosolve theproblem of excessive complexityof360-degree video basedonequirectangularprojection (ERP)of versatile videocoding(VVC),thispaperproposedafast CU partitionalgorithmbasedonpredictivepartitionconvolutionaleuralnetwork(PP-CNN).Firstly,this paperanalyzed thepartition characteristicsofCUsof ERP360-degree video indierentlatituderegionsandintroducedthelatitudefeatureinthisproposedalgorithm.Secondly,thealgorithmestablished 360-degree videodatasetwiththecharacteristicsoflatitudeandquantizationparameters.Then,this methoddesignedalightweightPP-CNN model topredicttheedgedivision informationofCUs.Next,thealgorithm basedontheoutputof PP-CNN modeldevelopedadual-thresholdCUfastpartitiondecisionschemetoremoveredundantpartitionpaterns.Finaly,thispaper designed threedecisionmodes,fast,balancedandperformanceaccording totheneeds ofcoding scenarios.Theextensive experimental results show that the proposed algorithm is able to shorten the coding time by 39.31%~61.95% on average under the full intra-frame coding configuration at the BDBR increases by only 0.37%~1 43% compared with the official testbed VTM-14.O-36olib13.1,indicatingthatthealgorithmcanrealizefastercoding speedunderthepremiseof guaranteeingcoding performance.

Keywords:ERP36O-degreevideo;latitude;CUpartition;PP-CNN

0 引言

随着通信技术和多媒体技术的快速发展,超高清视频逐渐成为人们主流的观看选择。全景超高清视频的分辨率在4K及以上,由3D相机拍摄的多方位视频拼接融合而成,能给予用户沉浸式的观看体验,但其海量的数据给传输和存储带来了巨大挑战。上一代高效视频编码(highefficiencyvideocoding,HEVC)[1]已无法满足当前超高清视频的压缩需求,联合视频探索小组(jointvideoexplorationteam,JVET)提出了多功能视频编码(versatilevideo coding,VVC)[2]。VVC引人了嵌套多类树的四叉树(quad-treeplusmulti-typetree,QTMTT)划分技术和多参考行帧内预测等新编码技术,使编码效率相较于HEVC 标准提升了 50% ,但代价是急剧上升的编码复杂度[3,4]其中,VVC采用的QTMTT划分技术通过深度优先遍历方式来确定编码单元(codingunit,CU)的大小,这一过程消耗了 80% 以上的编码时间[5]。因此,优化CU的QTMTT划分技术对于降低VVC的编码复杂度至关重要。为了压缩球形的全景视频,JVET在VVC上扩展了360lib工具[],通过一定的投影格式将全景视频转换为平面视频再进行编码。等距柱状投影(equirectangularprojection,ERP)能完整呈现球面上的所有点,且较易实现,是全景视频最常用的投影格式。但是,通过ERP格式转换后的全景图像在不同纬度区域的采样密度存在差异,越靠近两极区域的图像拉升失真越严重。全景视频在赤道区域纹理细节丰富,而靠近两极区域内容平坦。所以,在不同的纬度区域,全景视频的CU划分特点有较大差异。超高清全景视频编码耗时长,播放实时性差,影响用户的观看体验。因此,结合全京视频的CU刘分特性术降低编屿发余皮具有里妥息义。……

登录APP查看全文

猜你喜欢

全景复杂度编码
轰然倒塌的全景敞视监狱:萨特“凝视”下的自我与他者的权力关系
我国农机产品出口结构与竞争力变迁研究
融合多种机制的交通时序数据异常检测模型研究
全景声音频技术及在广播电视领域的应用研究
国内首家沉浸式全景太空体验中心
拿下全景相机2/3市场,南大90后校友抢滩科创板
基于判别分析的汉语二语口语能力评价研究
标识符在企业主数据结构化中的应用
基于遗传模拟退火的编码流量分配方法
基于皮尔逊相关系数与核密度估计的低秩稀疏分形图像压缩算法