马 巾，别业鹏，马 双

（荆门电视台，湖北 荆门 448000）

1 引言

荆门电视台里现有的虚拟演播室为两维半系统，建于2001年，承担全台自办栏目、1小时民生类演播室直播等任务，部分配件已严重老化，尤其是色键器出现严重的不稳定现象，直接影响安全播出[1]。系统中没有三维物体，只能通过动画文件来仿真，三维动画数量有限，超过5个会丢帧。当镜头推倒大广角时，虚拟背景会被放大，变得很虚。摄像机左右摇摆幅度受限制，一般只能摇22.5°。演播室中的电视墙是一个面，当电视墙旋转90°时电视墙就变成了一条线，没有厚度感；不能实现虚拟灯光效果；无法实现虚拟相机的浏览；演播特技效果有限，无法满足实际播出的需要。

2 技术需求

2.1 系统架构要求

系统架构为三机位双通道数字SDI真三维虚拟演播室系统；最少1个传感机位，摄像机可以实现平摇、俯仰和变焦的精确机电跟踪；双通道，能在PGM和PST两个通道中，任意调度3个机位，实现2通道的特技切换；系统提供2个进口独立色键，可同时监看PGM和PST通道的抠像合成画面；PGM和PST通道间切换支持包括硬切、淡入淡出、划像、三维卷页等至少200种切换特技，在机位切换过程中，保证前景信号与虚拟背景信号场同步切换，不出现前背景不同步、夹帧、画面撕裂等现象；可以实现任意真实摄像机的虚拟运动轨迹设置，实现虚拟摇臂、导轨、航拍运动拍摄效果；系统设计构架应以简洁为主，尽量减少单台设备的数量，避免故障点、系统连线和维护量的增加；系统支持外同步功能，自带同步分配器，满足系统内部各配件（如渲染主机、切换器、色键等）的同步信号锁定需求，预留同步输出口，方便锁定其他外围设备（如摄像机、录像机、非编等）；系统需确保音视频同步；双通道之间的特技切换必须达到广播级质量。

2.2 虚拟场景渲染模式及性能要求

系统应能支持三维模型实时渲染和场景图像实时渲染的两种渲染模式；三维模型实时渲染模式和场景图像实时渲染模式相结合应用的要求[2]。为保证场景精美细腻的渲染效果，如实现光影追踪、纹理反射等高级渲染效果，虚拟大场景可采用预渲染的场景图像（三维软件预先渲染广角场景图片）；为体现场景动态效果和结合节目制作需要，场景中如三维字、虚拟大屏幕（电视机）、虚拟桌子、栏杆、地板等，可采用三维模型实时渲染。要求系统具备统一的坐标系，保证无论是真实或者虚拟摄像机运动过程中，主场景图像和三维模型物件融为一体，两者之间保持正确合理的透视关系，不会出现错位、漂移的现象，虚拟灯光每场8盏，并且保证摄像机快速变化过程中，场景不撕裂、不抖动，不出现黑场；系统场景图像实时渲染能力应达到2048×1024像素分辨力、32位 （带Alpha通道）以上的要求[3]。

2.3 摄像机跟踪系统技术要求

系统应能同时支持真实摄像机机电传感跟踪和虚拟摄像机运动轨迹跟踪两种跟踪方式；真实摄像机机电传感跟踪的平摇、俯仰和镜头变焦（推拉）应达到表1中的精度。

表1 传感器精度表

系统应能支持虚拟摄像机运动轨迹跟踪，无须配置摇臂、导轨等装置，可实现任意真实摄像机的虚拟运动轨迹设置，实现航拍、摇臂、导轨等拍摄效果；系统要求虚拟摄像机按照任意轨迹的运动过程中，真实摄像机拍摄的前景人物与虚拟场景必须实现同步联动、精准定位和合理的遮罩关系，并且虚拟摄像机的轨迹不受空间限制，虚拟场景建模不受任何限制，可任意设置虚拟摄像机轨迹。

3 系统简介

现在采用的系统为励得公司U-Set 3D全景虚拟演播室系统；U-Set 3D全景虚拟演播室是一款支持三机位同步切换、采用计算机图形跟踪系统与摄像机机电传感跟踪系统相结合、渲染系统根据场景虚拟摄像机轨迹或者采集摄像机平摇（Pan）、俯仰（Tilt）和变焦（Zoom）的参数，实时生成与前景运动一致并经色键抠像合成以及添加字幕层输出的新一代创新型虚拟演播室系统；用户可定制加装机电传感跟踪的摄像机机位，最大限度提升系统性价比，摆脱了传统虚拟演播室摄像机取景空间范围的限制，可以实现好莱坞大片式的恢宏航拍效果；其贴近虚拟节目制作实际的多跟踪模式机位系统构架，极大提升了虚拟演播室产品的性价比和易用性。

4 系统工作原理

系统各模块和功能与工作原理（见图1）如下：

1）切换器：完成摄像机前景信号的切换工作，受控于图形工作站串口信号。

2）同步信号分配器：完成外来同步型号的分配，分别将同步信号分配给U-Set 3D图形工作站、切换器以及预留给用户摄像机的3个同步信号输出口。

3）视频输入模块：将切换器输出摄像机前景视频信号进行广播级数字处理。

4）色键1和2：运用领先的色键抠像算法，将两路前景数据流进行实时的抠像处理并产生相应前景画面的键和填充数据信息。

5）传感信息采集处理模块：采用机械光电传感跟踪方式，采集摄像机平摇、俯仰、变焦6个方位的动作信息。

6）活动视频采集模块：实时采集输入的活动视频信号，并做10 bit广播级数字处理，以用于建立虚拟场景视频窗口。

7）活动机位背景渲染及前背景叠加模块：采用先进的计算机图形运动跟踪算法，根据预设的虚拟摄像机轨迹关键帧，实时渲染生成动态虚拟背景和动态键遮罩信息，并与前景键和填充数据信息进行合成处理，实现前景抠像人物与虚拟场景具备合理空间透视关系的完美结合；虚拟摄像机镜头进行广域航拍的全运动过程中，真实摄像机拍摄的前景人物实现同步联动、精准定位和合理的遮罩关系，真实与虚拟空间结合得天衣无缝。此外，该模块还需要控制摄像机切换模块，当虚拟背景进行不同视角背景切换的时候，同时发出控制信号给摄像机切换模块，切换至相应视角的前景摄像机。

8）广角机位背景渲染及前背景叠加模块：根据传感信息采集模块送来的真实摄像机动作参数，将广角虚拟背景实时渲染生成与真实摄像机动作一致的虚拟场景和遮罩关系，并完成各个机位的各种三维和二维物件、符合不同机位透视关系渲染工作，最后与前景键和填充数据信息进行前背景的合成处理。此外，该模块也还需要控制摄像机切换模块，当虚拟背景进行不同视角背景切换的时候，同时发出控制信号给摄像机切换模块，切换至相应视角的前景摄像机。

9）DVE特技切换及字幕叠加模块：对两路合成信号进行DVE特技切换处理，并在最终输出信号上叠加字幕图文。

10）音频采集延时模块：对演播室现场音频实时采集并作相应延时处理输出，以保证虚拟演播室视音频信号音画同步。

图1 系统原理图

5 系统技术特点

U-Set 3D全景虚拟演播室系统具有以下技术特点：

1）虚实结合无限完美视界。U-Set 3D全景虚拟演播室的图形运动跟踪算法，是通过设置虚拟摄像机的运动轨迹关键帧，自动计算真实摄像机画面中物体在虚拟空间的坐标。在虚拟摄像机沿预设轨迹运动过程中，真实物件始终保持位于虚拟空间的唯一位置，而虚拟场景随着虚拟摄像机运动而景别不断变化，从而实现各种航拍、摇臂、移动导轨等真实拍摄才能实现的效果。同时，通过键遮挡技术，实现自动遮挡功能，从而将虚拟物件与真实物件的合理透视、景深关系完美体现。由于虚拟摄像机的运动轨迹是在虚拟空间任意设置的，无论场景是山峰、城堡、轮船、摩天大厦，抑或太空、宇宙飞船，只要想象所及的任何虚拟场景和拍摄效果都可以实现。

2）机电传感与图形运动跟踪结合，最大限度贴近台里应用需求。

尽管在实现大范围的虚拟节目拍摄效果方面，图形运动跟踪算法独具优势，但在节目实际制作过程中，摄像师需要对摄像机进行平摇、俯仰或者推拉镜头的动作，由于没有在真实摄像机前端加装物理跟踪方式，所以无法采集获知摄像机参数变化，以便虚拟场景与真实前景同步运动。

U-Set 3D全景系统并没有试图改变用户的操作习惯，采用放大或者移动摄像机人物画面的方法（这种方式会大大降低摄像机前景画面指标，原理如前所述），通过移动鼠标的方法实现镜头变化的效果，而是在摄像机摇动、变焦以取景人物半身、特写的过程中，传感系统采集其相应参数，传递至渲染系统，虚拟场景同步变化；采用机电传感与图形运动跟踪相结合的方式，可以运用前者，满足通常虚拟节目的制作需求；也可以运用后者，实现恢宏的航拍、摇臂等飞行镜头，用于节目的开场与收场，将虚拟空间的广阔场景充分表达，实现了技术与艺术完美和谐统一；U-Set 3D全景系统保留了广角机位，它可以通过广角机位的切换，体现出主持人处于虚拟空间的效果来。例如，机位一取的是主持人中景，机位二取的是全景，主持人和嘉宾都出现于虚拟演播室场景当中，机位三取的是嘉宾中景，通过这3个摄像机的之间的切换，就可以很好地体现出虚拟演播室的空间效果，见图2。

图2 3个机位切换效果图

由于没有配置摄像机传感跟踪系统，虚拟背景不能随着摄像机的推拉摇而作相应运动，所以在节目制作播出过程中摄像机是不能动的。但是，在U-Set 3D中提供了一个非常实用的功能，虚拟背景是可以通过软件来进行上下、左右、缩放的调整的。像上面提到的例子，若机位二取全景，就把背景缩小到一定程度，把虚拟场景的全景效果表现出来；机位一、三取的是中景，就把背景放大到相应程度，如果需要虚拟大屏幕正好在主持人身后，可以上下或左右移动背景到相应位置即可。

3）灵活的多机位设计。U-Set 3D全景虚拟演播室系统标配三通道摄像机切换器，3个摄像机拍摄的不同景别前景对应相应广角虚拟场景，同时，这3路摄像机信号可以任意绑定任何一路应用图形跟踪算法的运动机位，实现超出实际摄像机机位的灵活多机位切换效果，极大丰富了虚拟演播室的创作手段。

4）精美预渲染场景与灵活实时渲染场景元素完美融合。U-Set 3D全景虚拟演播室系统采用预渲染场景与实时渲染场景元素相结合的渲染模式。在场景内可添加各种实时渲染三维、二维场景元素，场景元素完全遵循预渲染三维场景空间坐标定义，满足各个机位视角的合理透视关系，各种视频、图文、动画序列、粒子、三维模型虚拟电视机/电视墙、统计柱状图和饼状图等可任意创建，并实现对前景的遮挡功能。

5）精彩的阴影、倒影色键处理效果。在U-Set 3D系统中，用户不仅可以任意增加演员的阴影，控制阴影的深浅，而且还可以增加多个角度的阴影，更可以增加演员的倒影，与虚拟场景的反光地面相结合，制作出远远胜出以往的精彩虚拟演播室节目。

6）提供完整字幕解决方案。在虚拟合成画面后的字幕叠加通道，可以实现在虚拟节目画面前添加字幕图文，省却另外给虚拟演播室系统配置下游字幕的成本。

7）机械光电传感跟踪系统，摄像机跟踪精确平稳。U-Set 3D全景虚拟演播系统采用高精度的机械光电传感器，实时控制三维虚拟场景中的虚拟摄像机参数，从而使三维虚拟场景随着真实摄像机的动作变化而改变。在快速的镜头推拉摇动过程中，可以控制虚拟场景的快速同步变化，同时保持场精确的平稳过渡，不会出现人与背景错位的现象。

万能镜头传感系统，兼容所有摄像镜头，不需要任何机械改造，安装使用简单快捷，系统状态一目了然，见图3。

8）本地硬盘播放和外接视频信号的多路大屏设计。U-Set 3D系统可以实现独家的多大屏的技术要求，即在虚拟场景里面实现同时打开多个不同内容虚拟大屏幕，一路大屏幕信号来自外接视频信号源，如VTR，DVD等；另外几路大屏幕信号（路数随计算机系统配置而定）可以是事先采集进计算机主机的AVI视频文件，而文件的压缩格式可以支持 M-JPEG，MPEG-2（I帧、IBP 帧），DV25，DV50 等视频压缩格式。

图3 镜头传感系统

9）基于Ultra-Fx视频流控制传输技术，确保前后景切换同步准确。U-Set 3D成功地运用Ultra-Fx视频流控制传输技术，实现所有视频流的传输都独立于计算机传输总线。同时，最大限度降低视频流控制对CPU的占用，通过在GPU里面设计大容量的DDR显存，很好地解决了这一问题，实现机位切换时前背景同步准确。

10）高质量的虚拟大屏幕。U-Set 3D系统中的虚拟大屏幕接入信号可以采用复合、模拟分量、Y/C、数字SDI等基于广播级的视频信号格式输入。

[1]别业鹏.荆门电视台新闻直播系统的设计与实现[J].电视技术，2008，32（9）：74－75.

[2]武红辰.数字化播出系统的发展[J].世界广播电视，2001（5）：36-38.

[3]沈丞，张利.虚拟演播室中三维模型简化算法研究[J].电视技术，2009，33（12）：75-77.