沈 江

（作者单位：浙江省绍兴市柯桥区广播电视总台）



真三维虚拟演播室系统在县区级台的应用

沈 江

（作者单位：浙江省绍兴市柯桥区广播电视总台）

摘 要：本文主要介绍了真三维虚拟演播室的系统构成，结合本台实际进行系统选型，以及具体的实施应用，取得了不错的效果，成为一个在县区级台应用的成功案例。

关键词：真三维虚拟演播室；跟踪技术；图形工作站；色键器

随着时代的发展，人们对精神文化生活有了更高的需求。本台自办栏目也逐渐增多，以及形式的不断多样化，都迫切需要丰富提高节目的整体效果，原先一个实景新闻演播室已不能胜任，当前需要一个能不断变换背景又省时省力，且符合多个不同栏目都能录制，以提高演播室使用效率，而改建成真三维虚拟演播室就可以满足上述所有需求。

1 真三维虚拟演播室技简介

真三维虚拟演播室技术是在色键技术与计算机图形处理技术相结合的基础上发展起来的，它与传统的色键抠像技术最根本的区别在于引入了虚拟现实技术中的信息交互技术。传统色键技术抠像时，当摄像机做任何运行时，背景没有变化，前后景之间缺乏联动关系，看上去前景象漂浮在背景上一样。而虚拟演播室技术采用了传感器跟踪摄像机的运动，将摄像机的运动参数：位置、俯仰、平摇、推拉运动转变成电信号，送入计算机主机，计算机通过运算，对虚拟场景的相应参数进行调整，实时生成与前景联动的背景信号，进入色键器与经过延时的前景信号进行合成，使虚拟摄像机拍摄的虚拟背景与真实摄像机在蓝幕前拍摄的人物前景通过色键抠像技术完美地合成在一起。当拍摄前景的真实摄像机运动时，其合成画面的背景也同时相应地运动，始终保持相应的透视角度，合成效果仿佛是从实景中拍摄所得，从而创造出逼真的、立体感很强的电视演播室效果，解决了传统抠像技术中背景不能随前景运动的局限性。此外，背景不仅可以是一个虚拟的三维场景，也可以嵌入多路实时视频背景，这使我们摆脱了传统的空间环境和真实物体的约束，进入了一个无限的想象空间，以实现各种新颖、奇特的创意，极大地提高了电视台的节目创作和制作能力。

2 真三维虚拟系统的构成及应用

为立足长远，结合虚拟演播系统的最新技术和发展方向，出于简洁、安全、可靠的考虑，经过认真的筛选，最终选择了拥有国际领先的三维实时渲染引擎，以色列敖威公司生产的真三维虚拟系统。

原有传统实景模拟新闻演播室是与另外一个旧的虚拟演播室合用导控室，演播室面积35 m2左右，导控室面积17 m2左右，通过改建成为采用最先进的网格识别跟踪系统；同时，支持多机位灵活配置，真三维全数字标清虚拟演播室。这套系统的关键是选用了国际先进的真三维虚拟系统：ORAD的虚拟演播室产品ProSet。

ProSet是Orad公司的高端HD/SD虚拟演播室系统，提供了一个全新的虚拟演播室系统。具有虚拟演播室与图文系统的完美结合，摄像机自由运动，不需要第三方的技术、设备支持，支持所有的HD/SD格式，极小的视频延时，既可以作为一个独立的系统，也可以作为一个系统的一部分，简单的操作界面、支持多个数据库连接等特性，ProSet提供了一个新的虚拟演播室解决方案。不仅能出虚拟背景信号，ProSet还提供了对动态前景信号的处理，提供了各种动态图形元素，如滚动条、标题、及三维图形等。

改造后的真三维虚拟演播室系统结构见图1。

在这套真三维虚拟系统中，摄像机所拍摄的带有蓝箱背景的演播室信号通过传给导控室内的摄像机控制单元，摄像机控制单元输出SDI信号先进入ORAD VDI-40数字身份识别器，这是一台切换识别系统（最多可支持4路摄像机），VDI-40会对每一路摄像机的输出图像范围外打一个识别点，切换台通过摄像机输入路数的切换会认识这个点，并把相应摄像机信号输出到ORAD的数字视频处理器DVP-500,DVP-500计算网格的跟踪数据，通过网络发送跟踪数据给HDVG（图像工作站）；同时，把处理过的前景信号输出给HDVG，HDVG根据带有跟踪数据的前景信号实时渲染三维背景，使前景和背景保持同步比例。其中把切换台一路AUX信号定义为输出给实时渲染虚拟背景的插入视频，也可以作为独立背景使用。然后由HDVG输出前景信号（FG）、背景信号（BG）和KEY信号（MATTE）进入色键器抠像，在色键器中合成信号（FG+BG）后送入切换台作为PGM信号输出，PGM信号最后给非编系统进行节目的录制。

改建后的虚拟演播室系统采用SONY数字化、多功能、高性价比的切换台DFS-800，摄像主信号仍旧使用原有索尼DXC-D50标清演播室数字摄像机拍摄，虚拟演播系统切换台输入信号设计为一路色键器输出的合成信号、两路摄像机信号、两路蓝光录像机信号、一路非编信号以及一路备份虚拟信号。本系统所有设备同步信号源由同步发生器产生经视频分频器分配后独立输入。摄像机、蓝光录像机、非编、虚拟主机、PVW、PGM的监看信号分别输入到电视墙的画面分割器，监看系统采用大屏加多分画面分割系统，摈弃了原先传统的单屏监看方式，既美观又更具人性化。在系统备份上，考虑到实际经费有限，不能再备份一套ProSet系统，通过新旧虚拟演播室来互为备份，也到达了相同的效果。

图1 真三维虚拟演播室系统结构

虚拟演播室系统主要由下列设备和系统组成：图形工作站及配套设备（含控制PC及LINUX操作系统）、网格身份识别处理器、虚拟演播室软件、数字色键器（含控制面板）、摄像机跟踪系统、音频延时器和虚拟演播室专用蓝箱等。

2.1 摄像机跟踪系统

跟踪系统可以获取摄像机在演播室中的实际位置参数和动作参数，判断摄像机、主持人、三维场景之间的相对位置关系，以保障前景运动时背景能及时跟上，在合成图像上看不会出现漂移现象。目前主流跟踪技术主要有：网格图形识别、机械传感和红外跟踪等。

根据实际应用需求我们采用使用最广的网格识别跟踪系统，下面具体介绍。

以ORAD专利的网格技术作为定位目标，初始定位快速、准确、简单，定位后各机位间透视关系正确；跟踪系统中可升级多种跟踪方式，在不同的跟踪方式之间切换图像不跳帧。因为采用了ORAD的网格技术，增加机位不会增加硬件跟踪系统，以满足将来扩展的需要，系统对传感参数处理速度快，达到像素级的跟踪精度标准，摄像机推拉、摇移、俯仰和变焦等操作，可以使三维场景快速的同步变化，保持和前景的相对位置，不会出现人动但背景不动的现象；同时，图像无停顿、撕裂，以保证机位运动的快速、平滑和稳定，系统跟踪不受灯光、电磁波、声波及热光源的影响。因为采用了ORAD全球专利的网格图像识别技术，录制节目时，不需要进行跟踪系统的调整，节目的拍摄不会受到约束，主持人变换位置时能实现快速定位，不需要再进行测量。采用网格跟踪方式无须改造云台结构，可以方便的拆卸，搬运。跟踪方式不会产生累积误差，避免了机械跟踪方式出现的经常性的调整。

2.2 图形工作站

采用硬件反走样算法，渲染器输出的三维场景始终无锯齿、闪烁或抖动现象。采用专业级的3D图形加速卡和广播级的专业SDVG视频处理卡，系统能够流畅的运行复杂的三维虚拟场景，并提供高质量的虚拟场景渲染效果。视频卡输出质量高，场景通透感好，色彩，材质效果真实，能够很好地还原场景设计的效果，物体边缘细腻。计算机制作的精美三维场景和动画，通过图形工作站输出完全一致，无需重新调整。支持2路外来SDI视频输入，可在虚拟背景上实现不少于8路虚拟电视大屏，摄像机聚焦一块虚拟大屏时，虚拟电视大屏的图形清晰，达到广播级要求，不会产生电子放大，图像不抖动、跟踪时不撕裂，并且可以放大到全屏信号直接用于播出。考虑到防止病毒的影响和保证系统运行的稳定性，图形工作站必须采用LINUX操作系统。

同时支持硬盘视频文件的播放。制作的虚拟场景中的任何物体，动画、贴图和灯光等元素，都可以实时调整，实时修改，无需再生产。ORAD是三维场景实时处理，不需要预渲染。虚拟演播室单个渲染单元渲染三角形数量不低于12 000万/秒，纹理贴图不低于200 M；可以对虚拟场景中任何物件做半透明处理，在系统计算量繁重的复杂情况下，系统保证稳定性，不丢帧，快速机位移动时跟踪不滑步。基于傲威公司自己研发的DVG视频卡，是目前世界上最为出色的实时渲染引擎，主要体现在渲染质量和渲染效率。两机位之间的合成后画面，通过切换台时不出现夹帧、黑场等现象。图形工作站输入∕输出信号处理均为标清信号。并能无缝升级到高清格式，无需增加硬件投资。

2.3 色键器

色键器是用来把摄像机的前景信号和通过渲染引擎产生的背景信号合成为最终图像，在虚拟演播室中至关重要，我们使用的是目前高端虚拟演播室选用较多的美国Ultimatte500外置色键器，除了提供前景信号和背景信号的合成抠像外，还可以提供键信号合成、前景背景信号色彩矫正、前景背景信号延时等功能。

Ultimatte的一个色键器控制面板可接4路色键器主机，其中主机的输出控制接口都是RS422口子，而面板上分别有RS485、COM口等，但由于色键器上本身没有任何调节按钮，所有参数都要依靠控制面板来调整设置。从实际使用情况来看，我们对其整体抠像效果都很满意，完全可以和实景相媲美。

2.4 虚拟演播室创作软件

3Desinger专门用于制作该系统虚拟背景。它可以制作出实际不存在的或难以制作的场景，并可以在瞬间改变场景，其空间不受物理空间限制，因此可创作出更丰富、更吸引人的节目，能够以低廉的成本产生新奇的视觉效果。另外，由于场景的制作、修改、保存等都在计算机上进行，制作和更换电子布景快捷简便，节省了大量的人力、物力、财力，而且缩短了节目制作周期，提高演播室的利用率等。

场景设计软件设计功能强大，并且界面设计简单合理，操作流程清晰，可实现场景的快捷搭建，能运用普通的拖放方法来为布景增添图形元素，或是为几何图形应用纹理和材质。模版创作和运行控制能够在任何一个基于WINDOWS 的PC上运行（满足最低的平台需求）；在创作阶段不需要连接一个用于着色的计算机。播出软件可以同时加载多个场景，支持在多个虚拟场景中进行转换，可根据节目需要，现场快速改变视频源或图片。

2.5 音频延时

虚拟演播室音频系统主要由调音台和音频延时器组成。 系统调音台配置了YAMAHA MG12小型调音台，雅马哈（YAMAHA）MG12 模拟调音台由：12通道，最多6个话筒，12个线路输入（4个单声道+4个立体声），2编组母线，1立体声母线，“D-PRE”话放，带有倒向晶体管电路，单声道输入通道上的PAD开关，+48 V幻象供电，XLR平衡输出，金属机身，很适合小型演播室使用。

由于图形工作站实时渲染三维场景需要处理大量的数据，因此整个虚拟系统中的视频会有2帧左右的延时，但要保证主持人口型和声音同步，这就需要音频系统也适当作延时处理，为此配置了波视BD30A音频延时器。由于音频输出需要进过延时系统为了简单直观，更方便操作，我们把主持人的音频信号先进调音台话筒输入，然后指派给AUX后送给音频延时器，2帧延时后再进调音台作为AUX延时输入，给PGM节目输出。不过这样的音频输入安排操作上还是有点不一样的地方，因为主持人话筒输入不直接指派给调音台PGM输出，而是先到了辅助输出，所以录制节目时，不是直接操作主持人的话筒输入推子，而是调节AUX延时推子。这样就算话筒输入有好几路，只要管好AUX延时推子就好了，方便又省事。

2.6 虚拟演播室的专用蓝箱及灯光布置

专用蓝箱的品质决定了抠像的效果，需要先请木工根据我们设计好尺寸做一个蓝箱框，再涂上虚拟演播室专用的影视漆。我们做成三墙一低式的，这样摄像机机位限制小，摇摄范围大。蓝箱油漆涂的一定要均匀，特别是在墙墙、墙地交接处不能有接缝的痕迹。还有每天大量的使用，最难保持蓝色纯净均匀的是地面，所以要铺上透明的塑料垫子，这样不会磨掉蓝色漆，有鞋印的话也只要用拖把一下就没有了，就算粘些尘土抠像效果影响也有限，这样方便维护管理。为了配合虚拟场景中的主持台，请木工做了简易的台子，然后涂上同样的蓝色漆，这样可以在台子上放演播室直播话筒，抠像后的效果与虚拟场景配合的很好。

考虑到虚拟演播室灯光只需保持足够的亮度和均匀的布光，该虚拟演播室延用原来实景演播室的三基色冷光源灯，重新进行合理的布光，使蓝箱各个位置都能保持充分的亮度。为了体现主持人立体的轮廓感，在主持人后面左右两侧各增加了一个低色温的LED冷光灯，作为逆光使用，整体符合虚拟演播室要求。

3 综述

真三维虚拟演播室系统的改建顺应了电视技术数字化发展趋势，充分运用功能日趋完善的虚拟演播室技术，进一步提高了浙江省绍兴市柯桥区广播电视总台电视节目制作技术质量及画面效果，同时演播室空间得到了充分合理的利用。该虚拟演播系统中最关键的渲染引擎使用LINUX系统，而软件操作使用普通PC加上Windows系统，这样既保证了系统的稳定性，又便于用户使用，而且场景创作也方便快捷，制作人员经过短暂的培训就能熟练地使用系统自带的设计软件创作三维场景。系统自投入使用以来到达预期效果，整个虚拟演播室系统各项功能满足要求，硬件、软件都运行稳定，并在多个节目中频繁应用，如《柯桥区新闻》《快乐吧》等。该虚拟演播系统自设计阶段到建成投入使用后，不仅得到台内人员和领导的肯定，还有其他县区级兄弟台同行前来参观、咨询，已成为一个在中小台应用的成功案例，必将在业内得到越来越广泛的使用。