APP下载

基于互联网的多路实时流媒体同步合成技术

2021-04-04李观胜

信息记录材料 2021年7期
关键词:音视频音频系统

李观胜

(珠海城市职业技术学院 广东 珠海 519090)

1 引言

网络宽带不断提升和音视频压缩技术进步,也使得流媒体技术得到发展,并且得到广泛的应用。在全球流媒体市场下,而且提供交流媒体的公司和服务受众也比较多。与此同时,在实时传输技术不断发展的背景下,对于网络流媒体直播业务来说,也逐渐广泛化,如开展监控和视频会议等业务。基于互联网媒体同步应用,受到了人们的关注,从虚拟乐队直播系统的角度上来看,对于不同的地理位置等能起到支持的作用,而且通过网络的应用,可实现线上直播,进而获得良好的效果。在以往传统流媒体系统中,从多路实施流媒体直播系统的角度上看,在多媒体内,要同步维持,在其他同类型媒体间实现基于同步合成等方面还无法实现。

2 流媒体技术

所谓流媒体指的是在网络上,主要就是通过对多媒体文件等流式传输技术进行使用。在流媒体传输方式系统中,从用户的角度上来看,其文件下载上不必将其都下载完就能看到文件中的内容,只是经过几秒的启动延时,在用户计算机上,通过相关硬件的运用来解压流媒体文件,如动画和音视频等,并进行播放进而观看,而且在后台中,还能继续下载多媒体文件剩余的部分。这与以往下载的方式相比,其多媒体文件通过边下载边播放的流媒体传输方式,具有一定的优点而且体现得较为明显:一方面,在启动延时等方面,时间比较短;另一方面,在系统容量等方面,对其需求不高,仅需要特定的实时传输协议。

3 多路实时流媒体系统架构

对于多路实时流媒体系统进行分析,此系统的构成,主要包括采集端、流媒体服务、客户端、合成服务器和控制管理平台等。在不同地理位置下,多路实时流媒体系统会有多个采集端。对于流媒体服务来说,能使得实时流式更好地实现,并提供这项服务。在合成服务器中,主要有多个采集端合成,并展开发送,其中主要发送音视频,还可实现同步。从客户端的角度上来看,为了使播放软件顺利的完成,还离不开音视频,在解码上,实现同步,并将其显示出来,这在用户对流媒体观看上,也带来一定的便利。在控制管理平台中,主要将用户作为核心,开展相应的管理,其网络环境等方面开展相应的监测;控制好合成资源等,以上这些也是平台主要负责的。

4 多路实时流媒体同步合成机制与实现

在音视频数据流处理的采集和发送以及接收等环节中,其同步机制等方面,需要将其贯穿其中,在系统的各个环节中,其同步控制必须要实现。在控制管理平台中,通过TCP套接字传输命令的应用下,在系统各个组件中,使其组件之间的通信更好地实现,而且在对待同步媒体数据采集时,在对网络状态监听时就已经开始。采集端将指令发送给控制管理平台,而且还是具有权限的,如果效验成功的话,针对此通知对于其他采集端而言就能接收到,进行倒计时,其同步合成处理等方面开始相应的启动。当启动同步合成后,对于每一个RTMP音频包装来说,各采集端会给额外时间戳。合成服务器开展容错处理时,主要就是通过媒体加载的初始化时延的实现,还有就是差错控制机制恢复流内,而且来对其合成多路媒体时,主要就是在RTMP下,基于改进的时间戳同步机制[1]。对于合成的音视频信号来说,其对音视频实时同步机制合成流媒体等方面,主要就是各自编码器在各自编码后,对于时间戳重新安排,并推流直播。而且在整个多路实时流媒体系统中,从流媒体合成器的角度上来看是非常重要的,其具有重要的意义。在多路实时流媒体等方面,其主要负责三个方面,为同步、合成以及转发。

4.1 基于RTMP改进时戳同步机制

在其多路实时流媒体直播系统等方面,对于有同步需求的直播系统来说,在线直播应用中是最合适的。从这类应用等方面,其业务特点上有相同之处,在伴奏等方面,可通过对基准音频文件进行运用,其视频旋律和节奏等方面,使其能做到相统一。从采集端用户的角度上来看,登录之后,对于合成服务器来说,针对多路流数据开始合成,并推进流之后。针对同步合成,当启动之后,在同类媒体同步操作等方面,使其不断增加[2]。

通常情况下,在流媒体编码机制中,其参数上,都是以一个参数为时间基参数,在视频帧和音频帧播放时间等方面可用进行计量。对于这种戳来说,其生成主要根据的是采样频率,与帧是有直接关系的,在按照顺利的编排下,为视频的顺序提供重要的保障。在多路实施流媒体同步的过程中,对于某个采集端而言,如果一旦发生了故障,或者是网络发生了中断的现象,基于同步合成等方面,在重新参与合成的过程中,从这种时间戳的角度上来看,在其重新接入点上,是难以将其确定下来的,这与采样是有直接关系的。

在其音频间和视频间等方面,文本在两者之间同步实现等方面,主要利用实践戳同步技术,将其不断地改进,而且在信道和全网同步化实现上,省去了附加这一步。从采集端用户的角度上来看,当登录成功之后,在控制管理平台中,下载基准音频文件,并下载到本地,当加载完之后,其合成方面基于同步。之前对于多路数据流来说,只能使其合成处理更好地实现[3]。

在各采集端启动同步合成之后,在其本地基准音频相关文件等方面,开展相应的播放。各端对于字节数生成时间戳已经播放,这主要结合的是基准音频文件[4]。对于音频来说,其编码完成之后将其进行包封,装成RTMP,并将额外时间戳附加在RTMP音频包尾部分。在自定义时间戳数值等方面,在实际开始时,主要从0开始,对于单调线来说,其不断增长,其主要的原因与音频采样有直接的关系。在各路媒体流的音频中,为了使得采样率能相一致,对于多路音频流来说,在音频包等方面,其自定时间戳上,能为其提供保障。随着时间不断流失,在各路时间戳中,会产生一定的误差。基于此,在采集端中设置参数时,一定要联想起基准音频文件,而且此文件主要包括的是此文件已播的字节数。所以,当时对此字节数播放之后,从0开始,从已播放字节数入手,展开相应的计算,并生成时间戳。通过基准音频文件生成与内容相关的实践戳运用,对于已合成的阶段来说,可以将其判断出来,在同步情况下,其恢复直播数据流等方面可以准确接入,在各路音和视频间等方面,为实现同步提供重要的保障。

4.2 基于同步容限的媒体流合成机制

在流媒体系统中,其声音失步等方面,从人们的角度来看,是非常敏感的。基于此,在音频处理模块中,其音频合成等方面需要为合成的同步性提供重要的保障。在性能和质量上,确保两者能实现平衡,在对系统的实时性需求满足的基础之上,使其合成质量获得提高。在同步阀值设置上,要结合实验结果动态,在阀值范围中,对于多路音频对应的音频包的额外时间来说如果在此范围内,其音频包在同一时刻合成。

4.3 音视频实时同步机制

在流媒体播放的过程中,对于视频和音频来说,两者的传输通道具有一定的独立性,而且在发送和接收时,主要采取的是穿插方式。在音视频同步处理的过程中,通常情况下,以发送模块和接收模块为主。而且在媒体同步实现等方面,多路复用技术是最有效的方式,其媒体流间的同步上能将其简化,将额外信息道来对同步进行传输这一步省略。

5 互联网的多路实时流媒体同步合成技术应用

5.1 视频会议

对于视频会议来说,省去了人们到某一地方聚集事件,充分利用网络实现面对面沟通。基于此,对于有的学校来说,为了节省开支,使得工作的效果获得提高,逐渐运用了视频会议。尤其是在流媒体技术不断发展下,其视频会议组播技术方面的难题通过此技术进一步得到解决,其中主要的难题为安全等。可以听到多个发言者的声音,且对于会场的视频和图像等省去了传送时间,实现实时接收,一定程度上,促使视频会议系统更好地发展。

5.2 视频点播

在互联网中,对于视频点播来说,是非常重要的应用,在VOD视频点播要求下,其播放视频节目的过程中,可结合用户的实际要求。但是对于以往传统的技术来说,其音视频信息等方面,相对而言比较大,服务器终端离不开大量的存储系统。与此同时,在大量数据源传输等方面,出现了超过负荷的现象,服务器在点播上,使其不能做到大规模点播。在当今社会,随着宽带不断发展,在视频点播系统中,也逐渐应用了流媒体技术。对于流媒体来说,其对互联网运输适合主要原因就是经过了编码压缩,而且此编码还具有一定的特殊性。并通过先进的机群技术,可发点播要求,而且还是大规模的,在大规模的点播环境下,能够更好地适应。所以,充分运用流媒体技术,在家中或者是学校对于自己的喜爱的视频等,通过宽带网交互式个性服务,可进行点播。

5.3 远程教育

在当今社会,随着计算机和互联网技术的不断发展,也使得远程教育得到了发展,这其中离不开流媒体技术的应用。对于远程教育来说,不受时间和空间的限制,促进学生自主学习,充分发挥出学生的主观能动性,其教育资源方面,实现共享,促使学生更好地接受。在远程教育中,主要由教师开展相应的设计,将优秀的网络课程设计出来,而且还是文本和图片以及视频等为一体的,通过流媒体技术的应用,使得宽带限制性有所突破,通过在线的方式,教师就可为学生传授相关的知识,结合信息反馈,便于对教学内容进行相应的调整,便于学生更好地学习,促进师生之间的沟通。

猜你喜欢

音视频音频系统
Smartflower POP 一体式光伏系统
Microchip推出首款车载以太网音视频桥接(AVB)全集成解决方案
WJ-700无人机系统
基于PowerPC+FPGA显示系统
3KB深圳市一禾音视频科技有限公司
必须了解的音频基础知识 家庭影院入门攻略:音频认证与推荐标准篇
基于Daubechies(dbN)的飞行器音频特征提取
WIFI音视频信号传输的关键问题探究
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
高速公路整合移动音视频系统应用