王 勇 赵丽红 胡绪桢 杨四化

深圳市奥拓电子股份有限公司，广东 深圳 518052

1 前言

基于LED 背景墙的LED 虚拟摄制技术已成为影视制作领域的热点。XR 技术与LED 显示屏相结合，搭建了一座贯通虚拟与现实的桥梁，在影视虚拟摄制领域大放异彩。越来越多影视作品在虚拟摄影棚中完成，作为新兴融合技术，LED 摄影棚虚拟摄制日益受到影视行业、动画团队、娱乐公司的重视，具有较高的成长性，在海外市场具有无限潜力。虚拟摄制领域相关技术成熟度都在不断提高，LED 摄影棚可以模拟真实场景，实时展示场景高光及反射，已扩展应用于产品发布会、节目晚会、真人秀直播、汽车解说等场景。LED 虚拟摄影棚的最大优势在于降本增效。传统实景拍摄决制作周期长，且需要不断换景改景，特效绿幕抠图耗费了大量时间。相比传统耗时耗力的电影拍摄流程，虚拟拍摄制作效率高，制作周期短，可更快实现影片上映，因而大幅度缩短投资回报周期，减少长期投入资金，同时可以节省演员的片酬以及工作人员的支出费用，降低拍摄成本。

2 LED 虚拟摄影棚类型

LED 摄影棚虚拟摄制是一种综合的解决方案、工具和途径。LED 虚拟摄制技术可定义为利用高显示性能、像素间距小的LED 显示屏作为背景墙，通过实时渲染引擎，采用多屏同步的实时渲染方法，利用摄影机内外参跟踪同步系统，将高质量画面的三维场景渲染到LED 显示屏上，并通过实时渲染引擎调整，同步现场灯光、场景机械装置等拍摄用具，由摄影机直接拍摄，将真实的演员表演、道具陈设与LED背景墙实时合成，从而实现“所见即所得”的新型电影摄制方法。在实际使用中，LED 虚拟摄制可以分为“VP 虚拟摄影棚”和“XR 虚拟摄影棚”两种类型应用。

2.1 VP(Virtual Production)虚拟摄影棚

VP 虚拟摄影棚是一种新型的影视虚拟摄制方案，更多用于电影、电视剧的拍摄，可以取代绿幕，直接在摄影棚显示实时背景和视觉特效(图1)。

图1 VP 虚拟摄影棚示意图

VP 虚拟摄影棚拍摄的优势可以体现在多个方面。

（1）摄影空间自由化。可在摄影棚内完成各种场景的拍摄，无论是森林、草原还是雪山，都可以使用渲染引擎实时创建，大幅度减少取景和拍摄成本。

（2）制片全流程简单化。在拍摄过程中制作人可以在屏幕上及时查看拍摄画面，场景内容和叙事空间皆可实时修改、调整，“所见即所得”，大幅度提高换景、改景的效率。

（3）表演空间沉浸化。在片场的演员站在实时生成场景的舞台上，在沉浸式空间内进行表演，演员表演更真实、自然。同时，LED 显示屏的光源配合现场打光，提供真实光影效果与细腻色彩表现，拍摄出的效果更加逼真、完美，极大提升影片整体质量。

（4）降本增效。相比传统耗时耗力的电影拍摄流程，虚拟摄制因为效率高，制作周期大幅度缩短，可更快实现影片的上映，节省演员的片酬以及工作人员的支出费用，大幅度降低拍摄成本。

2.2 XR 虚拟摄影棚

XR 延展拍摄是指使用视觉交互技术通过制作服务器将真实与虚拟相结合，利用LED 显示屏打造一个可人机交互的虚拟环境，为观众带来虚拟世界与现实世界之间无缝转换的“沉浸感”。XR 虚拟摄影棚可用于网络直播、电视台直播、虚拟音乐会、虚拟晚会和广告拍摄等场景（图2）。XR 虚拟摄影棚拍摄可以将虚拟内容扩展到LED 舞台之外，使虚拟和现实实时叠加，增强对观众的视觉冲击感，让内容创作者在有限的空间创造出无限可能，尽情追求无尽的视觉体验。

图2 XR 虚拟摄影棚扩展前（左）后（右）对比

3 LED 虚拟摄影棚虚拟摄制工作流程

在LED 摄影棚虚拟摄制中，VP 虚拟摄影棚与XR 虚拟摄影棚的拍摄流程大致相同，分为开发阶段、准备阶段、制作阶段、后期制作阶段四个部分。

3.1 VP 虚拟摄影棚拍摄流程

VP 虚拟摄影棚摄制与传统电影制作方法最大的不同在于流程上的变化，最显著的特征是后期前置。VP 虚拟摄影棚摄制将传统视效影片中的三维资产制作等环节移至影片实际拍摄之前，前期制作的虚拟内容可直接用于现场摄影机拍摄，而渲染、合成等后期环节移至拍摄现场。合成画面的实时完成大大减少了后期制作的工作量，提高了制作效率。在视频拍摄前期，视觉特效师需使用实时渲染引擎以及虚拟摄制系统创建3D 数字资产。接下来利用高显示性能的无缝拼接LED 显示屏作为背景墙（通常呈现为环幕或球幕）在工作室中搭建一个LED 舞台，通过VP 虚拟服务器将前期制作的三维渲染场景载入到LED 显示屏上，打造出高画面质量的沉浸式虚拟场景。之后采用精确的摄影机追踪系统，利用物体位置追踪与定位技术对物体进行跟踪拍摄，最终拍摄完成后，将拍摄到的素材通过特定协议（Free-D）传回到VP 虚拟服务器进行查看剪辑。

3.2 XR 虚拟摄影棚拍摄流程

XR 延展拍摄的步骤与VP 虚拟摄影棚拍摄大致相同，但通常在VP 摄影棚拍摄中整个拍摄画面都是在摄像机中进行拍摄录制的，而不需要扩展。而在XR 虚拟摄影棚中，因为其画面延展的特殊性，在后期制作时多了对“背景”画面进行扩展的环节。在拍摄好的素材回传至XR 虚拟服务器后，需要再通过画面叠加的方法，将场景延展显示到无屏区域，将物理场景与虚拟位置进行融合，实现更真实、更加沉浸式的效果。再通过颜色校准、定位校正、色彩匹配及边缘过渡等画面处理技术，实现屏内外画面的和谐统一，最终输出扩展后的整体画面。在导播系统后台，就可以看到并输出完成的虚拟场景。在扩展现实的基础上，XR 延展拍摄还可以加入动作捕捉传感器，实现AR 追踪的互动效果，表演者可以在舞台上即时、无限制地与三维空间内的虚拟元素进行交互。

4 LED 虚拟摄制系统设计

在设计阶段需明确设计目标和需求，确定LED背景墙、跟踪系统、渲染服务器、灯光等设备来支持多功能LED 影棚虚拟摄制。

4.1 LED 摄影棚虚拟摄制原理说明

LED 虚拟摄制系统包括LED 显示屏、渲染引擎、摄影机追踪系统以及虚拟摄制系统等。只有通过这些软硬件系统的完美集成配合，才可以拍摄出奇幻炫酷的视觉效果，获得最终的效果。XR 虚拟摄影棚的LED 显示屏虽然建设面积较小，但是在直播中需要低时延特性提供支持,需要更大的数据传输与实时互动,要求配备性能更强的虚拟摄制系统支持即时的影像处理。VP 虚拟摄影棚LED 建设面积较大，因不需画面扩展，对虚拟摄制系统的要求相对较低，但是需要高质量画面拍摄，对渲染引擎、摄影机等其他设备配置需求较高，须达到专业级别。

4.2 虚拟摄影棚LED 背景墙

4.2.1 虚拟摄影棚LED 背景墙的技术特征

LED 摄影棚虚拟摄制是大屏显示应用的新场景，是小间距LED 市场不断发展、LED 显示设备技术水平不断提高而衍生出的新市场。与传统的LED 显示屏应用相比，虚拟摄制的LED 显示屏对准确色彩还原、动态高刷新率、动态高亮度、动态高对比度、无色彩偏移的广视角、高质量画面显示、低反光等都有更为严苛的要求。LED 显示屏关键技术特征包括以下几个方面。

（1）抑制摩尔纹。摩尔纹是LED 显示屏在拍摄设备的感光元件上成像时形成的高频干扰，会使图片出现彩色的条纹。使用Mini LED 四合一封装技术及凹槽工艺的LED 显示屏可以达到80%以上的发光开口率，同时这种LED 搭配特殊型号镜头、景深和光圈，可以获得更广的调节自由度，虚焦程度更低，巧妙避开显示屏在成片中产生摩尔纹的情况，最终实现拍摄角度逼真的沉浸式效果（图3）。

图3 抑制摩尔纹效果前（左）后（右）对比

（2）低反射。越小的光反射率对屏幕表面的影响越小，可以实现更真实的背景画面。小间距屏体的表面，灯组之间有独特的吸光槽设计，能够减少光的影响。表面采用磨砂哑光工艺的LED 显示屏产品，光线反射率可以控制在5%以下，拍摄角度接近180°，轻松应对拍摄现场的各种光线环境，画面更干净，拍摄不易穿帮。

（3）广色域、高显色指数。虚拟摄制的LED 显示屏要具有色域匹配及转换技术，可以真实、准确地还原自然界色彩，色域校正后要达到99.8%DCI-P3色域重合度。高显指是要保证色彩均匀性好，可以优化各色、各波段的连续光谱，提升显色指数。同时，在保证发光效率前提下，提高光效能够抑制部分蓝光能量，补偿红色（R9）光谱。

（4）广视角、无色偏。虚拟摄制的LED 显示屏要能够提供近180°或更广的拍摄视角，保证不偏色。26bit 深度处理控制技术及16bit 深度的显示技术能够更好地呈现图像层次、细节，从任何角度观察或拍摄，也能呈现良好的视觉效果。

（5）低扫描率、高刷新率。电影级虚拟摄制的LED 显示屏要满足1/6 扫描率和7680Hz 的刷新率，在高刷新率下，拍摄画面稳定，无波纹黑屏，图像边缘清晰，准确还原图像真实信息（图4）。

图4 刷新率对比

图5 多功能LED 摄影棚虚拟摄制系统结构

4.2.2 虚拟摄影棚LED 显示产品组成

LED 摄影棚虚拟摄制中LED 显示屏通常由LED视频墙（立面）、LED 天幕屏、LED 地砖屏三部分组成，每部分LED 显示屏承担各自的显示功能与作用，通过视锥内的内容融合，完成画面的渲染合成。

（1）LED 视频墙是专门为“真场景”打造的高匹配度屏幕，通常有1.5mm、1.9mm、2.3mm 三个点间距可选，也可以根据拍摄场景距离选择合适的点间距。这三款点间距屏幕都适用于XR 虚拟摄影棚，而在VP 虚拟摄影棚中，1.5mm 和2.3mm 更为常用。LED视频墙表面要具有更小的反射率和超黑的墨色以提升对比度；具有HDR 技术；具有1500cd/m2（超亮可以达到2000cd/m2）峰值亮度；重量轻巧，安装快捷便利，快速实现内外弧无缝拼接，节省安装成本和周期；采用支持前后维护的结构设计，方便现场便捷维护，降低维护成本；具有边缘保护设计。

（2）LED 天幕屏具备高亮度、宽色温等特点，通常选用3.75mm、4.8mm、5.8mm 等点间距，为拍摄现场营造几乎任何场景的光照及实景（反射）环境。独特的天幕设计结构能实现快速安装；支持吊装、座装以及内外弧拼接，一屏多用；铝镁合金，重量轻；亮度最高可达到6000cd/m2；无极色温调节；模组可更换、支持前后维护。

（3）LED 地砖屏。大多数情况下VP 虚拟摄影棚不会采用地砖屏，地面一般用于摆放拍摄道具，布置实景；XR 延展摄影棚更倾向于将LED 显示屏与LED地砖屏结合使用。

LED 地砖屏的技术要求：载重量达2 吨/平方米，可靠性高；支持模组前维护，快速实现模组更换，显著提高维护效率；面罩采用进口高透耐磨材料，防刮、防磨、颜色均匀无色差；屏幕前后IP65 防水设计；可扩展人屏互动、多点触控。

4.2.3 LED 背景墙的搭建

国内的摄影棚建设中，很多摄影棚都是商业应用棚，针对摄影棚初期建设需求，拓展摄影棚使用边界，在考虑项目使用需求的同时，也应兼顾摄影棚中长期运营的经济效益。

经过笔者调研，国内外摄影棚面积规格如下：

（1）标准的VP 虚拟摄影棚面积在1000～3000 平方米之间，其中LED 显示屏的面积在300～500 平方米；

（2）标准的XR 虚拟摄影棚面积在100～1000 平方米不等，其中LED 显示屏的面积在60～300 平方米之间。

多功能LED 摄影棚面积通常介于VP 虚拟摄影棚和XR 虚拟摄影棚之间，这个大小能够同时满足VP 虚拟摄影棚和XR 虚拟摄影棚的应用。

4.3 跟踪系统

摄影机定位跟踪指对真实空间中物理摄影机的内参和外参进行数据采集的过程。

多功能LED 摄影棚由于需要同时考虑进行虚拟摄制和XR 拍摄的场景，笔者对比测试了市场中常见的3 种跟踪系统：Mo-Sys、HTC VIVE Mars、青瞳视觉MC1000。

4.3.1 Mo-Sys跟踪系统

Mo-Sys 跟踪系统是国际知名的光学跟踪系统，通过红外摄像机实时捕捉天花上的反光标记点的位置，是由内到外光学跟踪，通过红外摄像机和反光标记点计算摄影机实时位置，计算红外摄像机的实时位置。

Mo-Sys 跟踪系统高达120°的光学可视跟踪视角为摄影机跟踪提供了最大的移动自由度，该系统使用不同光谱进行跟踪，不受摄影棚中照明光影响，为摄影棚中搭建创造性的照明变化效果提供了可能。

Mo-Sys 跟踪系统的反光标记点可以随机安装在照明网格上方，能够快速移动摄像机，即使摄影机在快速移动，依然能够保持完美的取景。

笔者在沈阳市铁西区为辽宁联盟文化传媒有限公司打造的多功能LED 影棚采用了Mo-Sys 跟踪系统，Mo-Sys 跟踪系统采用的是50mm 的反光标记点贴于天花8m 的位置。经实验测试，在对Mo-Sys 跟踪系统进行该摄影棚的光学标定后，移动数据误差在0.5mm 内；在200 平方米的空间移动过程中，摄影机跟踪数据不会漂移，跟踪数据准确、稳定；关闭跟踪系统后，不需要每天耗时进行重复校准工作，可以很好地应用在多功能LED 摄影棚中。

4.3.2 HTC VIVE Mars 跟踪系统

HTC VIVE Mars 跟踪系统采用Lighthouse 技术，HTC VIVE Mars 定位基站没有采取通常的光学镜头和反光标记点，而是由“定位基站+Tracker 跟踪器”构成。定位基站里有一个红外LED 阵列，即两个转轴互相垂直的旋转红外激光发射器，转速为10ms 一圈。基站的工作状态以20ms 为一个循环，在循环开始时红外LED 闪光，10ms 内X 轴的旋转激光扫过整个空间，Y 轴不发光；下一个10ms 内Y 轴的旋转激光扫过整个空间，X 轴不发光。HTC VIVE Mars 跟踪系统最多支持4 个定位基站，定位的范围为10 米×10米；最大支持3个Tracker跟踪器。

HTC VIVE Mars 跟踪系统简易轻便，但在信号覆盖范围、系统性能和稳定性方面无法与影视级专业摄影系统相媲美，目前HTC VIVE Mars 跟踪系统没有提供Zoom 和Focus 参数的读取，在不添加第三方组件时只能用于定焦拍摄，对使用场景会有一些限制，目标群体是一些小型工作室。

4.3.3 青瞳视觉跟踪系统

青瞳视觉跟踪系统是由主动式标记点或被动式标记点组成，属于由外到内光学跟踪系统。主动式标记点或被动式标记点的旋转轴心是多个刚体的几何计算中心。在相机移动时，刚体容易受到外部红外光、照明光线、遮挡等影响。青瞳视觉跟踪系统在刚体位置增加惯性测量单元（Inertial Measurement Unit，IMU），对跟踪数据进行补偿，弥补光学跟踪缺陷。该系统需要经常对追踪场地进行扫场，并重新标定跟踪数据，在实际使用过程中不够便捷。

4.4 渲染引擎系统

4.4.1 渲染引擎

虚拟摄制渲染引擎是各种最新图形技术的表现者，渲染引擎决定着节目画面的真实感、流畅度、吸引力。观众所看到的画面、场景、色彩效果等内容都是由引擎直接控制的，这些效果的实现包含许多渲染技术，如光线追踪-图像像素以光的粒子计算、路径追踪-光线反射回视口计算、光子映射-光源发射“光子”计算、光能传递-散射表面反射到摄影机中的照明路径。最常见的渲染引擎有Unreal Engine、Unity 3D 等。

4.4.2 虚拟摄制服务器

虚拟摄制服务器是将物理舞台与虚拟场景连接起来的基础设施，是虚拟摄制工作流的核心。虚拟摄制服务器负责接入摄影机跟踪系统、渲染引擎的生产内容、摄影机拍摄的实时画面，将虚拟内容输出到LED 视频墙，输出合成的XR 视频画面给导播台，用于直播及存储。

多功能虚拟摄制服务器不仅需要完成XR 服务器的功能，同时还需要满足虚拟摄制集群渲染功能且需要在虚拟摄制和XR 拍摄间达到极短的切换速度，减少切换时间。

4.5 灯光系统

在影视行业的视觉制作中,对于光的运用一直是重中之重。虚拟空间的营造如何真实,其基础之一就是光线的构建。

首先，灯光为场景提供了足够的照明，使得拍摄场地中的LED 显示屏能够有效地用作布景光源。LED 显示屏本身，可以产生足够的照明来创造逼真的反射场景，LED 提供基础照明方式能够帮助减少需要使用的人造灯光数量，从而节省布光的时间。

其次，灯光还能够为场景提供适宜的氛围效果。通过使用不同的灯光设置，为场景创造出各种各样的氛围，例如温暖、冷酷、神秘等以提供更加逼真的场景，并帮助观众更好地融入虚拟世界中。

最后，灯光还可以为场景提供柔和的阴影和轮廓。LED 显示屏可以通过调节外视锥显示背景产生柔和的漫反射光效，创造出更加逼真的场景，避免产生明晰浓重、轮廓鲜明的阴影，减少视觉上的混乱和模糊。

在场景已有的LED 显示屏作为基础照明不足的前提下，有必要人为地增强场景中的照明，提高画面的亮度，对于空间的建立、氛围的营造有着重要的作用。

传统的LED 显示屏天幕照明是铺满整个LED 显示屏的上方，在实际摄制过程中，可以通过在LED 天幕照明的中间预留一部分空间用来安装LED 灯光矩阵和柔光灯的方式弥补LED 显示照明窄光谱、低显色、无方向性、无硬光的缺陷。

新一代的用于天幕的LED 显示屏可通过RGBW技术提供更高亮度，3.9mm 像素间距屏幕可以达到5000cd/m2，5.8mm 像素间距的亮度能够达到6000cd/m2。同时在传统RGB 灯珠的基础上增加了一颗白灯，弥补了RGB 光谱低显示指数的不足，CRI 显示指数已经能够达到91。

特效灯光是指在特定的拍摄场景中，根据场景和剧情需要而临时布置的灯光。灯光控制系统-数控灯光可以通过DMX/ArtNet 等协议被虚幻引擎和XR 融合系统直接驱动控制。

LED 虚拟摄制中的灯光通常有以下几种应用场景：

（1）日落场景：运用琥珀色的LED 显示屏作为背景，并将灯光放置在场景后面，以创造出温暖、舒适的氛围效果，同时在场景中实现柔和漫反射，创造出逼真的阴影和轮廓。

（2）城市街景：为了展示城市的繁华和忙碌，可以制作高楼大厦场景作为背景，并将灯光放置在场景前面，创造出明亮的照明效果，减少需要使用的人造灯光数量。

（3）深空场景：为了展示深空的神秘和壮丽，可以使用黑色的LED 显示屏作为背景，并将灯光放置在场景后面。黑暗的背景效果与场景中产生的柔和漫反射，创造出逼真的星云和星系。需要注意的是，具体灯光设置和LED 显示屏的使用会根据不同场景和拍摄需求有所不同。

5 结语

LED 虚拟摄制技术在影视制作中有着广泛的应用，可以创造出更加逼真的虚拟场景和特效，提高制作效果和效率。同时，LED 虚拟摄制技术也面临着一些挑战和问题。例如，需要大量的计算资源和时间进行建模、渲染，需要电影虚拟摄制创新型、复合型、应用型人才进行虚拟摄制，同时还需要考虑制作成本等因素。

未来，随着技术的不断发展和进步，LED 虚拟摄制技术将会越来越成熟和普及，传统摄影棚必然逐渐向虚拟摄影棚转变，影视数字化工业应用市场将迎来新的发展。例如，通过人工智能（AI）和机器学习（ML）等技术手段，可以提高虚拟摄制效率，提升效果，实现对观众需求的精准分析和预测。如何用更先进的显示技术和XR 解决方案来推动虚拟摄制行业的进步，创新出一种全新的、更接近时代技术特征、更具交互性和创造性的影视制作方式，以满足人们高品质视听需求是亟待探究的重要课题。

总之，LED 虚拟摄制技术是一种具有广泛应用前景和发展潜力的技术手段，它将不断推动影视制作行业的发展和创新，为人们带来更加优质的影视视听体验。

作者贡献声明：

王勇：主导设计论文框架，组织实验测试，撰写和修改论文，全文文字贡献50%；

赵丽红：参与设计论文框架，讨论技术方案，撰写和修改论文，全文文字贡献20%；

胡绪桢：参与设计论文框架，讨论技术方案，案例提供，全文文字贡献20%；

杨四化：参与设计论文框架，讨论技术方案，案例提供，全文文字贡献10%。