APP下载

一种低时延的全景视频传输方法

2022-06-02杨明祎胡伟涛

空间电子技术 2022年2期
关键词:服务器端解码全景

李 鹏,黎 军,杨明祎,胡伟涛

(1. 西安电子科技大学,西安 710071; 2. 中国空间技术研究院西安分院,西安 710000)

0 引言

360°全景视频作为虚拟现实(virtual reality,VR)技术的重要组成部分,能够为观看者提供更为丰富的场景信息和身临其境的沉浸感,在包括航空航天、军事、医疗、教育、交通运输和娱乐等多个领域受到了越来越广泛的关注[1-2]。随着新的全景视频采集设备和显示设备的不断涌现,高效的传输技术[3-4]和视频编码技术[5-7]的不断发展,为设计和实现面向“空-地”交互的全景视频传输系统奠定了技术基础。

目前,广泛使用的360°全景视频传输系统由服务器、客户端以及连接服务器和客户端的传输链路三部分组成。其中,服务器负责将全景相机采集的视频数据编码为适合于流媒体传输的视频码流,客户端根据当前传输链路的状态、自身的处理能力及缓存情况,向服务器端请求下载对应的视频码流。获取所请求的码流后,客户端对其进行解码和渲染,并送入头盔式显示器(helmet-mounted displays,HMD)或球面屏幕进行显示,供终端用户观看。传输链路则负责为服务器和客户端提供数据和控制指令的传输通道。

360°全景视频传输系统常用的传输方法包括全景传输方法和视口自适应传输方法[8]。全景传输方法是指服务器将全景视频编码为单一码率的视频流发送至客户端,用户切换视口时视频体验质量不受影响,但受码率限制用户视口内的视频质量较差,传输带宽的利用率低;视口自适应传输方法是指客户端根据用户当前视口的位置向服务器请求码流,服务器采用不同码率对视口内外区域进行编码,并将对应的码流发送至客户端供解码和显示。此方法提高了传输带宽的利用率,但当用户切换视口时,如果服务器端发送的视频码流不能及时响应用户视口的变化,就会对终端用户的视频体验质量造成严重影响。

本文对360°全景视频传输系统的视口自适应传输方法进行分析,针对用户视口发生变化时系统不能及时响应的问题,提出了一种低时延的全景视频传输方法。在本方法中,服务器将全景视频数据编码为低质量的基本层、高质量的增强层以及用于用户视口切换的随机接入帧间预测帧(random access inter-prediction frame, RAPF)3种码流,利用3者的不同组合来减小用户视口切换时延。相比于已有方法,使用所提出方法实现360°全景视频传输,可以显著减小用户视口切换时延,同时提高传输带宽的利用率,从而为实现高体验质量的全景视频传输系统提供了一种可行方法。

1 当前全景视频传输系统面临的问题

360°全景视频传输系统对全景相机采集的球面视频数据进行处理,将其编码为适合传输的视频码流传送至客户端,客户端对接收到的码流进行解码和渲染后,送入HMD显示设备中供用户观看。考虑到用户在HMD中的视口仅覆盖全景视频对应球面中的局部区域,为了提高传输带宽的利用率,360°全景视频传输系统中广泛使用了视口自适应的传输方法。图1给出了使用视口自适应传输方法的360°全景视频系统的原理框图。

图1 视口自适应地360°全景视频传输系统原理Fig.1 The 360° panoramic video transmission system with adaptive viewport

如图1所示,在服务器端,全景视频采集设备获取的球面视频被映射成与视频编码器相适配的矩形视频,然后将其编码为低质量的基本层和高质量的增强层。其中基本层使用较大的量化参数(quantization parameter,QP)对矩形视频进行编码,得到低质量的全景视频码流;而增强层是通过将矩形视频划分成若干个空域上相互不重叠的拼接块(Tile),然后将每个Tile在时域上划分成固定时长的视频段(Segment),使用较小的QP对每个Tile划分成的Segment进行编码,得到高质量的视频码流;将基本层和增强层按照一定的格式封装后保存在服务器端,同时生成对应码流信息的媒体表示描述(media presentation description, MPD)文件,通过传输链路发送至客户端。客户端在接收到MPD文件后,根据当前用户视口的位置和客户端的资源情况,向服务器请求基本层码流和覆盖用户视口区域Tile对应的增强层码流。在接收到所请求的码流后对其进行解码,将解码结果拼接成用户视口内呈现高质量视频,用户视口外呈现低质量视频的全景视频,送入HMD供用户观看。

已有的视口自适应传输方法中,增强层码流的作用是保证用户视口内呈现高质量的视频内容,而基本层码流的作用是当用户切换视口进入前一时刻的不可见区域时,避免在新视口内没有呈现任何视频内容,导致用户视频体验质量的急剧下降。

在对增强层对应的各个Tile编码的过程中,视频编码器将每个Segment编码为一个图像组(group of picture, GOP),每个GOP由1个帧内预测帧(intra-prediction frame, I帧)和后续N-1个帧间预测帧(inter-prediction frame, P帧)组成。I帧可以独立解码,而P帧的解码依赖于同一GOP内的I帧。当用户在观看全景视频过程中切换视口时,客户端将根据切换后的视口位置向服务器端请求覆盖新视口位置Tile对应的增强层码流。然而,由于GOP中P帧的解码依赖于I帧,因此用户视口的切换只能发生在GOP的边界,即只能使用位于每个GOP起始位置的I帧作为视频码流的随机接入点。

对于用户而言,其在每个GOP内进行视口切换的时刻选择是等概率的,采用现有的视口自适应传输方法,用户从开始切换视口至视口内呈现出高质量视频内容的平均时延,至少需要1个GOP时长的一半,即N/2帧时长。在该时间段内,基本层对应的低质量视频内容将暴露在用户的视口区域内,严重影响用户的视频体验质量。图2给出了采用视口自适应传输方法实现全景视频传输时,用户视口内视频内容的变化情况。如图2所示,当用户从图2(b)中红色框所示的视口切换至图2(c)红色框所示的视口时,期望看到的视频内容如图2(c)所示,但由于视口切换时延的存在,用户在切换过程中视口内实际呈现的内容如图2(d)所示,即用户视口内部分区域被基本层对应的低质量视频内容所覆盖。

图2 视口自适应传输方法的固有缺陷Fig.2 The disadvantage of the viewport adaptive transmission method

为了解决现有视口自适应传输方法中视口切换时延过长对用户视频体验质量的影响,宋佳润等[9]提出了一种被称为FFS-360DASH的低时延全景视频传输方法,其基本思想是在服务器端编码增强层时,为GOP中每个P帧额外编码一个I帧的副本作为码流中的随机接入点。当用户切换视口时,将对应位置的I帧副本发送至解码端进行解码和显示,同时用作新视口对应GOP中后续P帧解码的参考帧。理论上,FFS-360DASH传输方法可以将用户视口切换时延减小至1帧时长。然而,一方面在编码I帧时只能利用空域的局部相关性来较少冗余,其编码效率较低;另一方面,相对于P帧,I帧的数据量较大,给定传输带宽条件下传输I帧的时长要远大于P帧,因而FFS-360DASH方法在降低视口切换时延的同时,又增大了码流的传输时延,而传输时延同样会对用户的视频体验质量造成影响。

因此,如何在降低视口切换时延对终端用户视频体验质量影响的同时,尽可能地提高服务器端的编码效率,对于提升360°全景视频传输系统的性能,具有重要的研究意义。

2 低时延全景视频传输方法及其实现

在采用视口自适应传输方法的360°全景视频系统中,当用户切换视口时,低质量的视频内容暴露在用户视口内,导致用户视频体验质量的急剧下降。造成这一问题的根本原因在于,增强层码流中的P帧不能独立解码,客户端只能等待接收到下一个GOP中的I帧,才能够实现视频码流的随机接入,进而完成用户视口的切换。对于用户而言,这意味着存在较长的视口切换时延。若采用FFS-360DASH传输方法,当监测到用户切换视口时,客户端向服务器端请求P帧对应的I帧副本,可以实现视频码流的随机接入,显著降低视口切换时延。然而,相对于P帧,I帧编码时只能利用空域上局部相关性来减小冗余,因而其编码效率受限,在减小视口切换时延的同时,又会引入较大的传输时延,同样会降低用户的视频体验质量。

针对上述问题,为了保证终端用户的视频体验质量,本文提出了一种低时延的全景视频传输方法,其基本思想是在视口自适应传输方法的基础上,为增强层码流GOP中每个P帧额外编码一个RAPF,利用RAPF作为用户视口切换时的随机接入点,显著降低视口切换时延。同时,在编码RAPF的过程中,利用了基本层重建图像与增强层重建图像之间的时域相关性,可以显著的提升RAPF的编码效率,从而减少视频码流的传输时延。

具体而言,所提出的低时延全景视频传输方法的实现过程如下:

1)在服务器端采用与视口自适应传输方法相同的方式,将原始的全景视频编码为基本层码流和增强层码流;同时,以基本层码流编码时生成的本地重建图像的上采样作为参考,对增强层码流编码过程中生成的各个Tile的重建图像进行预测编码,得到RAPF码流。

2)根据基本层码流、增强层码流以及RAPF码流的编码参数及其在服务器的保存位置,生成对应的MPD文件。

3)客户端根据用户需求,向服务器请求获取MPD文件,并根据当前用户的视口位置及可用的传输带宽,向服务器请求基本层码流和覆盖视口区域Tile对应的增强层码流,并对其进行解码和渲染,送入HMD显示设备进行播放。

4)当客户端监测到用户切换视口时,客户端向服务器请求基本层码流和覆盖新视口区域Tile对应的RAPF码流,对基本层码流解码,获得当前帧的重建图像,并以该重建图像的上采样作为参考,对RAPF码流解码,获得覆盖视口区域Tile对应的重建图像,对当前帧的重建图像和覆盖视口区域Tile的重建图像进行渲染之后,送入HMD显示设备播放。

5)客户端向服务器端请求后续的基本层码流以及覆盖新视口区域Tile对应的增强层码流,其中基本层码流的解码参考前一帧的重建图像,而增强层码流的解码参考RAPF码流的重建图像,完成视口的切换。

重复上述过程,直至完成全景视频数据的传输,或者客户端终止请求全景视频数据。

图3给出了使用本文所提出的低时延全景视频传输方法进行视口切换的示例。当用户从视口1切换至视口2时,客户端根据视口2的位置向服务器请求并获取对应于切换时刻的RAPF码流,对其解码后获得该时刻视口2中对应的视频内容。同时,客户端向服务器端请求覆盖视口2区域增强层码流的后续P帧,例如图3中视口2中的P2帧,此时P2帧将以RAPF的解码结果作为参考帧进行解码,后续的P3帧将以P2帧的解码结果作为参考帧进行解码,以此类推,直至客户端向服务器端请求视口2对应的下一个GOP。依照该方法,客户端能够在用户视口切换后立即在新视口内获得高质量的视频内容,而不需要等待至下一个GOP中的随机接入点。

图3 低时延全景视频传输方法视口切换过程Fig.3 Viewport switching process of low delay panoramic video transmission method

3 低时延全景视频传输方法的仿真与性能分析

为了测试和验证本文提出的低时延全景视频传输方法的性能,构建了一个360°全景视频传输系统,包含服务器、客户端以及连接两者的传输链路。其中,服务器的处理器为英特尔酷睿i7-10700(主频2.9 GHz),内存为32 GB。使用Nginx库[10]完成服务器软件功能的构建以及传输链路带宽的设定。基于H.265/HEVC视频编码标准[11]的参考软件x265,实现对全景视频的编码,生成符合H.265/HEVC标准的视频码流。客户端的处理器和内存配置与服务器相同,并额外安装了一块英伟达公司的GTX1080 Ti显卡(显存8 GB)用于实现解码后全景视频的渲染。客户端对接收到的视频码流进行解码,经OpenGL库渲染后,送入HTC Vive Pro头显设备呈现给终端用户。客户端和服务器端通过网线连接,使用HTTP/2协议进行数据的请求和交互。

将客户端向服务器端发送用户视口切换信息的时刻,到用户的HMD显示设备中视口内开始呈现高质量视频内容的时刻之间的时间间隔,定义为视口切换时延[12]。视口切换时延涵盖了服务器获取用户切换视口信息所需传输时延,以及客户端获取对应的视频码流的传输时间。基于上述全景视频传输系统,通过仿真实验对比了视口自适应传输方法、FFS-360DASH传输方法以及本文所提出的低时延全景视频传输方法的视口切换时延。仿真实验的仿真数据设定如下:

依照国际标准组织ITU-T推荐的360°全景视频测试条件[13],选取了4个分辨为8K(8 192×4 096像素)的360°全景视频序列,分别命名为Kite-Flite、Gaslamp、Harbor和Trolley,经等量矩形投影(equirectangular projection,ERP)映射后的视频截图如图4所示:

图4 仿真使用的4个全景视频序列Fig.4 Shortcut of four panoramic video sequences used in simulation

上述4个360°全景视频序列是标准测试条件中指定的具有最高分辨率的测试序列,每个序列持续时间10 s,包含300帧图像。这4个测试序列具有不同的空间复杂度和时间复杂度,能够代表目前主流的360°全景视频业务[12]。

以Kite-Flite全景视频序列为例,仿真实验的具体步骤如下:

1)在服务器端,生成视口自适应传输方法的视频码流和MPD文件。设GOP大小为30帧,采用IPPP预测结构。设定基本层目标码率为3 Mbps,对原始全景视频序列编码,得到基本层码流。同时,将原始全景视频在空域上划分为72个Tile(水平方向12个,垂直方向6个),为每个Tile设定三种目标码率,分别为1.2 Mbps、1 Mbps以及0.8 Mbps,分别对应3种不同质量的增强层,对所划分的各个Tile编码,得到增强层码流;将基本层和增强层的码流保存在服务器端,并生成与之对应的MPD文件。

2)在服务器端,生成FFS-360DASH传输方法的视频码流和MPD文件。其基本层和增强层视频码流的生成与视口自适应方法相同。采用全I帧的预测模式,对所划分的每个Tile进行编码,设定量化参数QP分别为20,22和24,得到对应3种不同质量的用于随机接入的I帧码流。将基本层、增强层以及用于随机接入的I帧码流保存在服务器端,生成与之对应的MPD文件。

3)在服务器端,生成本文所提出的低时延全景视频传输方法所需的视频码流和MPD文件。其基本层和增强层视频码流的生成与视口自适应方法相同。对基本层码流的本地解码图像进行4倍上采样,得到参考图像;对增强层的码流进行解码,得到各个Tile的本地解码图像;以参考图像作为参考,设定量化参数QP分别为20,22和24,对各个Tile的本地解码图像进行预测编码,得到对应3种不同质量的用于随机接入的RAPF码流。将基本层、增强层以及RAPF码流保存在服务器端,生成与之对应的MPD文件。

4)在服务器端调用Nginx库,将用于全景视频传输业务的传输带宽设定为30 Mbps。

5)客户端向服务器发送GET请求,申请对应视口自适应传输方法的MPD文件,并根据当前的可用带宽,向服务器端请求对应基本层和增强层的视频码流,经解码和渲染后送入HMD显示设备进行播放;设定每个GOP中,用户的视口切换每间隔5帧发生一次,即在一个GOP中的第5帧、第10帧、第15帧、第20帧和第25帧时用户切换视口;记录用户5次视口切换时的切换时延,计算其均值作为当前GOP的视口切换时延;将所有GOP的视口切换时延的均值作为该视频序列在视口自适应传输方法下的视口切换时延。

6)客户端向服务器发送GET请求,申请对应FFS-360DASH传输方法的MPD文件,并根据当前可用带宽,向服务器端请求对应基本层和增强层的视频码流,经解码和渲染后送入HMD显示设备进行播放;设用户切换视口的时刻与步骤5)中相同,当客户端监测到用户切换视口时,向服务器端请求基本层码流和用于随机接入的I帧码流,经解码和渲染后送入HMD显示设备进行播放;按照与步骤5)中相同的方式,记录该视频序列在FFS-360DASH传输方法下的视口切换时延。

7)客户端向服务器发送GET请求,申请对应低时延全景视频传输方法的MPD文件,并根据当前可用带宽,向服务器端请求对应的基本层和增强层的视频码流,经解码和渲染后送入HMD显示设备进行播放;设用户切换视口的时刻与步骤5)中相同,当客户端监测到用户切换视口时,向服务器端请求基本层码流和用于随机接入的RAPF码流,经解码和渲染后送入HMD显示设备进行播放;按照与步骤5)中相同的方法,记录该视频序列在低时延全景视频传输方法下的视口切换时延。

8)在服务器端调用Nginx库,将用于全景视频传输业务的传输带宽设定为60 Mbps;然后重复步骤5)~步骤7),得到高传输带宽条件下,不同传输方法视口切换时延的仿真结果。

针对4个测试序列,所比较的3种方法在30 Mbps和60 Mbps可用传输带宽设定条件下的视口切换时延的仿真结果,如表1和表2所列。

表1 30 Mbps传输带宽下的视口切换时延的仿真结果对比

表2 60 Mbps传输带宽下的视口切换时延的仿真结果对比

由表1和表2所示的仿真结果可知,对于视口自适应传输方法,当用户切换视口时,由于编码过程中所使用的IPPP预测结构限定,客户端在请求到新视口对应的P帧时,无法使用同一GOP中先前的I帧或P帧的重建图像作为参考进行解码,进而使得客户端只能使用下一个GOP中起始位置的I帧实现随机接入,完成用户视口切换。即使增大服务器与客户端之间的传输带宽,该方法对于不同序列的视口切换时延仍保持不变。

对于FFS-360DASH传输方法,当用户切换视口时,客户端可以向服务器直接请求基本层以及用于随机接入的I帧码流,I帧码流可以实现独立解码,不需要参考先前帧的重建图像,因而FFS-360DASH传输方法相比于视口自适应传输方法的视口切换时延有显著减小。

对于本文所提出的低时延全景视频传输方法,当用户切换视口时,其使用能够独立解码的RAPF码流实现随机接入,相比于视口自适应传输方法,本文方法也可以显著减小视口切换时延;在生成RAPF码流的过程中,利用了基本层码流重建图像和增强层码流重建图像之间的时域相关性来减少冗余信息,相比于FFS-360DASH传输方法中编码I帧时,只能使用增强层重建图像自身的空域相关性来减少冗余,本文方法可以进一步地提升压缩率,因而可以获得更小的视口切换时延。

为了减小视频序列内容对仿真实验统计结果的影响,依照表1和表2中的仿真结果,分别计算了视口自适应传输方法、FFS-360DASH传输方法以及本文所提出的低时延全景视频传输方法针对所仿真4个全景视频序列的视口切换时延的统计平均,如图5所示。由图5可知,在高传输带宽条件下,相比于已有的方法,本文所提出的低时延全景视频传输方法平均可以将视口切换时延降低至70.54 ms,以帧率为30帧/s计,约2.4帧时长。这一结果一方面可以归功于在服务器提供RAPF码流作为随机接入点,实现新视口码流的快速接入;另一方面可以归功于在编码RAPF码流过程中,充分利用了基本层重建图像与增强层重建图像之间的时域相关性,提高了RAPF码流的编码效率,在相同传输带宽的条件下,传输RAPF码流所需的时间要少于传输I帧码流所需的时间。

图5 视口切换时延的仿真结果Fig.5 Simulation results of viewport switching delay

为了进一步量化本文所提方法对终端用户视频体验质量的影响和对传输带宽的影响,通过仿真实验,对比了采用FFS-360DASH传输方法和所提出的方法实现用户视口切换时,用户视口内的视频质量差异,同时对比了服务器端视频码流的码率的变化情况。具体的仿真实验设定如下:

依照ITU-T推荐的360°全景视频测试条件,选择图4所示的4个8K分辨率的全景视频序列。基于所构建的360°全景视频传输系统,分别使用本文所提出的方法和FFS-360DASH方法对全景视频序列进行编码,统计服务器端视频码流的码率变化;当发生视口切换时,客户端向服务器端请求用于随机接入的码流,对其解码后,计算覆盖视口区域内的重建图像相对于原始视频图像的峰值信噪比(peak signal to noise ratio,PSNR),用于评估采用上述两种方法时用户视口内视频质量的差异[12]。

以Kite-Flite全景视频序列为例,仿真实验的具体步骤如下:

1)在服务器端,生成FFS-360DASH传输方法的视频码流和MPD文件。设GOP大小为30帧,采用IPPP预测结构。设定基本层QP为36,对原始视频序列编码,得到基本层的码流文件。将原始视频在空域上划分为72个Tile,设定增强层QP为22,对各个Tile编码,得到增强层的码流;采用全I帧的预测模式,设定QP分别为20,22和24,对上述每个Tile编码,得到3种不同质量的随机接入I帧码流。将基本层、增强层和I帧码流保存在服务器端,生成与之对应的MPD文件;记录不同QP条件下,所有Tile对应的I帧码流的码率。

2)在服务器端,生成本文所提出传输方法的视频码流和MPD文件。基本层码流和增强层视频码流的生成方式,与FFS-360DASH传输方法相同。对基本层码流的本地解码图像进行4倍上采样,得到参考图像;对增强层的码流解码,得到各个Tile的本地解码图像;以参考图像作为参考,设定量化参数QP分别为20,22和24,对各个Tile的本地解码图像进行预测编码,得到对应3种不同质量的随机接入RAPF码流。将基本层、增强层以及RAPF码流保存在服务器端,生成与之对应的MPD文件;记录不同QP条件下,所有Tile对应的RAPF码流的码率。

3)在服务器端调用Nginx库,将用于全景视频传输业务的传输带宽设定为60 Mbps。

4)客户端向服务器发送GET请求,申请对应FFS-360DASH传输方法的MPD文件,并根据MPD文件向服务器端请求基本层和增强层的视频码流,经解码和渲染后送入HMD显示设备播放;设定用户在每个GOP中的第5帧、第10帧、第15帧、第20帧和第25帧时切换视口,当客户端监测到用户切换视口时,除基本层之外,客户端分别向服务器请求QP为20、22和24的I帧码流,计算解码后视口内视频图像相对于原始视频的PSNR,作为采用FFS-360DASH传输方法在该时刻进行视口切换后的视频质量测度,按照与统计视口切换时延相同的方式,统计该视频序列在FFS-360DASH传输方法下的PSNR。

5)客户端向服务器发送GET请求,申请对应低时延全景视频传输方法的MPD文件,并根据MPD文件向服务器端请求基本层和增强层的视频码流,经解码和渲染后送入HMD显示设备进行播放;设定用户的视口切换时刻与步骤4)中相同,当客户端监测到用户切换视口时,除基本层码流之外,客户端分别向服务器请求QP为20、22和24的RAPF码流,计算解码后视口内视频图像相对于原始视频的PSNR,作为采用本文方法在该时刻进行视口切换后的视频质量测度;按照与步骤4)中相同的方法,统计该视频序列在本文所提方法下的PSNR。

针对4个测试序列,所比较的两种方法在所设定条件下的PSNR和码率的仿真结果,如表3和表4所列。

表3 FFS-360DASH方法的视频质量和码率

表4 低时延全景视频传输方法的视频质量和码率

将使用FFS-360DASH传输方法时,统计得到的视频序列在视口切换后的PSNR记为PSNRFFS,将对应用于随机接入的I帧码流的码率记为RbFFS;将使用本文所提出的低时延全景视频传输方法时,统计得到的视频序列在视口切换后的PNSR记为PSNRlow,将对应的用于随机接入的RAPF码流的码率记为Rblow。令ΔPSNR表示在相同QP条件下,PSNRFFS和PSNRlow之间差值的针对所仿真的4个全景视频序列的统计平均,即:

(1)

ΔPSNR的大小反映了采用本文所提出的传输方法取代FFS-360DASH传输方法时,用户在切换视口后视口内的视频质量变化程度[12]。令ΔRb表示在相同QP条件下,RbFFS和Rblow之间的差值与RbFFS之比针对所仿真的4个全景视频序列的统计平均,即:

(2)

ΔRb的大小反映了采用本文所提出的传输方法取代FFS-360DASH传输方法时,用于随机接入的码流的码率变化程度[12]。ΔPSNR和ΔRb的统计结果如表5所列。

表5 不同方法的视频质量和编码效率比较

由表5中的仿真统计结果可知,相对于FFS-360DASH传输方法,使用本文所提出的低时延的全景视频传输方法所获得ΔPSNR均小于0.1 dB,即使用所对比的两种方法时,视口切换后用户视口区域内的视频质量基本保持不变;同时,统计所得ΔRb平均值为-20.23%,这意味着本文所提方法中使用的RAPF码流作为视口切换的随机接入点,相比于FFS-360DASH传输方法中使用I帧码流作为随机接入点,在获得相近的用户视频体验质量时,可以显著的减小用于随机接入码流的码率,从而可以在保证终端用户体验的同时,显著的减少所需的传输带宽。

4 结论

本文提出了一种低时延的360°全景视频传输方法,利用所设计和实现的随机接入P帧,可以显著降低视口切换时延对用户视频体验质量的影响,提升传输带宽的利用率。仿真结果表明,与现有方法相比,本文所提出的低时延全景视频传输方法可以将视口切换时延平均减少至2.4帧时长,同时将用于视口切换过程中随机接入的视频码流的码率平均减少20.23%,从而为实现实时的360°全景视频传输系统奠定基础。所提出方法具有理论简单,易于实现的特点,可以为设计和实现面向“空-地”交互的全景视频传输系统提供技术参考。

猜你喜欢

服务器端解码全景
Excerpt from Three Days to See
解码 四十五度仰望天空
文化解码
文化 解码
文明 解码
全景敞视主义与侦探小说中的“看”
全景山水的心理空间揭示
基于Qt的安全即时通讯软件服务器端设计
基于Qt的网络聊天软件服务器端设计
全景搜索