张 莹 沈希辰

1.上海大学上海电影学院，上海 200072 2.腾讯互娱NExT Studios，上海 200032

1 引言

2009 年《阿凡达》的热映，使虚拟摄制技术开始进入大众视野，在电影技术发展史上具有里程碑式的意义[1]。之后的十多年间，《奇幻森林》（2015）、《头号玩家》（2018）等影片都在虚拟拍摄技术等方面进行了更为广泛且深入的实践。2019 年，美剧《曼达洛人》第一季上线，全流程可视化的“虚拟摄制”（Virtual Production,VP）这一概念开始深入人心，成为电影制作发展的新方向。而随着虚拟摄制流程在影片《独行月球》（2022）、《流浪地球2》（2023）中的全面应用，标志着中国电影进入虚拟摄制时代。

围绕虚拟摄制所展开的研究和实践逐渐成为热点，Epic Games 分别在2019 年和2021 年推出了两册《虚拟制片实践指南》（以下简称《指南》），对虚拟摄制的概念、流程、关键特性和优势进行了详细解读。同传统制片相比，虚拟摄制促使制片过程更为迭代化、协作化和非线性[2]。丹尼尔·马多克[3]、刘戈三[4]、陈军[5]和陈奕[6]等人分别围绕虚拟摄制、虚拟预演（Previz）和可视化技术等方面进行了实践探索；丁鹏[7]等人从数字技术美学的角度探讨了虚拟摄制。或许由于虚拟摄制技术起步于数字技术、计算机图形学（Computer Graphics，CG）与电影的联姻[8]，更专注于实时可视化的运用，因此尽管该技术在近几年取得了突飞猛进的发展，但声音制作始终没有能够真正地参与到虚拟摄制的工作流程中。那么，是否有可能让电影声音也成为先进摄制流程的一部分，在“可视化”的同时，实现“可听化”，本文将围绕此议题展开探讨和研究。

2 虚拟摄制中的声音制作

2.1 研究现状

在《指南》第二册中，Epic Games“憧憬将虚幻引擎打造成创意平台和协作沙盒”，希望“通过合作实验迭代找到故事的最佳表达方式”，甚至以音乐的即兴创作过程类比了电影的创意过程[9]。然而，纵观《指南》中梳理的工作流程，包括访谈的对象，声音部门并没有被包含在内。刘笑微等人[10]在其论文中沿用了“沙盒”的概念，探讨了虚拟摄制技术如何为导演带来全新的创作时空。张诗雪[11]结合教学实践短片《异星救援》的制作经验，研究了在LED 虚拟摄制流程中，声音设计的工作方式变化和创作突破，不失为一次有益尝试。在虚拟摄制典型案例《曼达洛人》的相关声音创作中，声音团队重点解决了在LED 背景墙前拍摄的声学环境中的反射问题，通过消除不必要的反射声来获取可用对白。

在这些研究和实践中，更多关注的是声音如何适应和配合新的摄制流程，比如研究在新的拍摄环境中同期声的拾取方式，或者是在视觉预演阶段进行声音预设计。声音犹如一个追随者，徘徊在虚拟摄制的核心流程边缘。造成这种情况的原因，一是相比于画面的实时可视化，声音实时可听化对于创作效率的提升没有那么直观可见；二是目前电影声音制作仍使用相对传统的工具和手段，对于其如何深度参与虚拟摄制流程，尚未有足够的关注和讨论。但可以预见的是，如果声音这个道具也能加入“电影沙盒”的创作空间，导演的创作思维边界将得以再度扩展。

2.2 现有虚拟摄制流程中的声音环节

根据Epic Games 对虚拟摄制流程的梳理，在前期开发和准备阶段，导演和编剧可以同影像创作相关部门进行充分沟通并准备数字资产，预演拍摄方案和效果，在拍摄前进行特技预演、技术预演或后期预演，并在现场拍摄和后期制作时进行可迭代的修改，实现实时创作的反馈循环。在声音方面，虽然可以根据预先生成的数字场景和预演结果进行声音概念设计和声音资产的准备，但大量的声音效果仍然要到后期制作阶段才能够得以完整呈现。在现有流程中，整个声音环节是相对静态、非实时的，由于无法参与迭代流程，声音部门在虚拟摄制中的作用非常有限，其工作状态也相对被动（图1）。要解决这个问题，基本思路便是运用恰当的工具，通过实时渲染，为声音加载动态特征，使其可以根据虚拟环境的变化而发生改变，从而实现实时可听化效果。

图1 现有虚拟摄制流程

3 渲染引擎在虚拟摄制可听化中的运用

早在20 世纪60 年代就开始出现虚拟环境中的可听化（Auralisation）相关研究，Krokstad 等人开创性地将光线追踪（Ray Tracing）技术运用于房间响应计算[12]。发展至今，在声学领域早已开发出多种方法和技术，可以对室内和室外声场进行精确的建模、模拟和测量，并成为建筑声学的标准预演手段之一。但是这种方法是一种静态声学模拟，需要预先计算，虽然基于物理建模的模拟结果较为精确，但无法适用于实时动态环境。

近年来，出现了一个名为虚拟声学（Virtual Acoustics）的新研究领域，主要聚焦动态可听化的概念，专注于再现三维声环境及其特征，旨在为听众提供一种沉浸感。在现阶段的动态可听化研究中，主要的挑战在于如何在虚拟环境中以较低的计算成本生成较为逼真的空间声，而渲染引擎是目前解决这类问题的可用方案。虽然渲染引擎尚无法全面描述声音传播过程中发生的声学现象，但其基于感知的渲染方式还是可以取得不错的听感效果[13]。

在影像方面，之所以从摄制最初就可以制作出高质量的画面，并且资源间可以互相兼容，在预览和最终输出阶段均可使用，离不开以虚幻引擎（UE）和Unity 为代表的渲染引擎的加入，其强大的实时渲染能力使全流程可视化成为可能。因此，如果声音也能够借助渲染引擎的优势参与虚拟摄制，实现全流程可听化，那么声音与画面将从创意阶段就全方位建立联系，达成“视听合约”[14]，让编剧、导演、演员等创作者在身临其境的非线性视听环境中构建跨模态感知的叙事方式，从而形成全新的视听理念和电影创作模式。

声音部门可以从前期创意阶段开始介入虚拟摄制，在数字音频工作站（DAW）中制作的声音资产可以高度模块化、灵活配置，并通过渲染引擎与视觉对象一一对应。声音设计师可以走出录音棚，同导演和各个视觉部门进行充分讨论，激发创作灵感，通过声画结合的预演和现场预览生成参考音轨，用于现场参考和后期制作。而在前期创建的声音资产，也可以直接用于后期。当声音部门真正参与进来之后，整个虚拟摄制迭代化、协作化和非线性的流程才达到了完整（图2）。

图2 声画结合的虚拟摄制流程

4 虚拟摄制可听化的应用场景

4.1 虚拟预演可听化

在传统声音设计方式中，虽然可以预先设计和准备声音资产，以此缩短后期制作周期，但这些资产是无法同虚拟预演中的视觉元素产生联动的。通过使用渲染引擎整合音频数据的方式，拍摄时将摄影机作为听者，摄影机在空间中的位置及其同场景中的各个声源的相对关系都可以进行实时计算，各个声源将会依据设计的衰减设置，生成并播放匹配镜头距离和景别的声音效果（图3）。通过这种方式，一是可以使导演等创作者在视听合一、沉浸式的状态下审视创作方案，同时，可听化内容的加入，为创作者提供了更多的反馈；二是可以使声音设计师快速预览声音设计方案，完善声音资产的配置，为现场拍摄和后期制作提供更有力的支持；三是可以在项目开发阶段就快速生成声画合一的样片或预告片，为项目的推进、融资和落地争取更多时间。

图3 虚拟预演可听化示意

在声音资产准备方面，可以借鉴游戏声音设计的思路。以环境声为例，通常包含三类内容：基于通道的（Channel-based）可循环播放铺底环境声，一般是立体声（Stereo）或是四声道（QUAD）资源，用于表现场景中最基础的声场特质，比如风声等；随机触发的空间点声源，可以通过参数调整来控制触发的频次和距离，比如鸟鸣声和虫鸣声等；特殊场景物件的声音，比如一条河流的声音，可以利用3D 定位和衰减设置整合进场景中。将上述各类声音资产整合到一起，用于可听化预演或是拍摄现场的播放参考（图4）。由于渲染引擎中的音频具有原生三维声的特点，可以支持多种空间声的重放环境，因此在各种条件下都可以获得较好的预听效果。在虚幻引擎5（UE5）中，还推出了声景插件（SoundScape），能够以程序化的方式生成环境声，并支持一阶Ambisonics声音资产，以使声音的呈现变得更为多元化，从而适应各类重放要求。

图4 环境声资产整合

4.2 实时拍摄可听化

4.2.1 环境声（Ambience）

环境声是电影声音构成不可或缺的要素，它在塑造时空环境、参与叙事和展现人物内心等方面起到了重要的作用[15]。在传统拍摄流程中，拍摄场景往往与影片最终展现的环境并不一致，而环境声是在声音设计后期阶段才加入的，无论是演员还是导演，都无法在拍摄现场感受到环境声的作用。当进入虚拟摄制时代后，无论是动作捕捉还是蓝幕/绿幕合成，都对创作者的想象力提出了新要求，需要在没有太多视听参照的环境中进行表演创作。即使有了全实时LED 背景墙前拍摄技术的加入，对于某些特殊场景，尤其是离现实世界较远的场景，仍然需要在环境想象方面付出努力。

当可听化加入虚拟摄制流程后，除了可以在前期制作阶段为各类创意方案提供环境声参考，还可以在动作捕捉或是现场拍摄阶段提供更为真实和沉浸的环境声，帮助创作者更快地进入状态，提高拍摄效率。同时，在此过程中使用的环境声，可以快速地加入迭代流程，生成参考音轨，使声音设计师在第一时间就能确认设计方案的可用性，而不用等到拍摄和定剪完成之后才能确认。

4.2.2 提示音（Sound Trigger）

渲染引擎增加了虚拟摄制流程的实时性和交互性，在拍摄过程中，实时的影像呈现和反馈可以真正实现“所见即所得”和“所想即所得”的效果。但是相比于在游戏中的声音交互和实时反馈，虚拟摄制对渲染引擎声音功能的利用非常有限。事实上，渲染引擎的声音功能非常强大，以UE5 为例，它更新了高性能的音频系统MetaSounds，为声音设计师提供了更多音频控制，比如可以实时合成音频，并将程序生成的声音与其他音频源自由混合和匹配，也可以轻松地实现交互，创建由事件触发的沉浸式体验。

基于这个思路，一方面，在使用一些虚拟道具时，可以通过触发道具音效，达到表演提示的作用。另一方面，也可以通过编制创建程序化的声音，整合其他声音资源，同影像发生联动，帮助导演和演员加深对画面的理解，以达到更好的创作状态。

从触发方式来看，实时拍摄提示音的实现有两种形式：演员通过道具触发，以及通过引擎控制来播放。以道具枪械触发枪声为例，一发枪声中有多个层次的素材，包含爆破本体（Shot Body）、机械成分（Mechanic）和低频（Boom），以及在不同空间和不同距离上的频段变化控制。可以把枪声声音资源导入引擎中，以虚幻引擎（UE）为例，在引擎的声音提示（SoundCue）组件中设置好声音素材的层级关系和播放逻辑，然后在控制蓝图（Blueprint）中创建触发事件，该触发事件响应道具枪械的扳机按钮。这样，当演员在表演过程中扣动扳机时，就会播放相应的枪声（图5）。同时，利用上文提到的实时定位特性，枪声还可以匹配镜头距离和景别进行实时变化。

除了演员表演所用的道具触发之外，某些特定的脚本事件（Script Event）也可以通过影视化（Cinematic）的方式呈现。引擎中的动画序列器（Animation Sequencer）的编辑窗口同常用的视频剪辑软件的结构非常类似，声音可以根据对象纵向排列，并以时间顺序在时间轴上展开。拍摄时，可以配合镜头运镜，在预设的时机触发整条动画片段，实现视效和音效共同的实时预演（PreViz）（图6）。

图6 引擎控制声音触发

4.2.3 对白（Dialogue）

在虚拟摄制中，真人表演的对白仍需在现场通过传统的同期声方式进行录制。同期录音需面临的挑战是LED 背景墙的电子类干扰、底噪以及反射等问题。为此，人们研究了一些解决方案，比如在美剧《曼达洛人》中就使用了Delta H Design 公司的ZR Acoustics 模块，它有助于在虚拟的内部空间中拍摄时获得优质的对白（图7）。同时，团队还开发出了一个便携式自动对白替换（ADR）系统，演员拍完后可以随时随地做ADR，保证了拍摄中的情绪可以最大化地延续到配音中去，解决了传统后期配音流程中由于间隔时间太长，表演情绪不饱满或不到位的问题。

图7 ZR Acoustics 模块在同期录音中的运用[16]

如果把对白也加入由渲染引擎引导的虚拟摄制流程中，创作模式的多样化还将得以进一步提升。在前期制作阶段，可以通过文本转语音（Text to Speech，TTS）工具直接从剧本生成临时的对白资产，在虚拟预演（PreViz）和拍摄预览中启用无演员排练。在拍摄场景涉及演员同虚拟角色互动时，也可以为演员提供更直观的对白参考（图8）。

图8 虚拟摄制中的对白流程

4.2.4 现场信号通路

实拍过程中的可听化应该能够根据现场拍摄的实际需求，实现空间声还放、耳机返听、静音、参考声轨录制等多功能切换，调音台是实现现场信号控制的可行方案。无论是在引擎中预设的音频信号、在动作捕捉过程中录制的对白，还是现场录制的同期声，都可以接入调音台（图9）。可以在现场设置空间声制式的扬声器，播放预先设计的环境声，呈现声画合一的场景；可以给演员佩戴耳机返听，播放提示音或参考对白；可以实时录制对白和音效合一的参考声轨，用于导演监听、样片输出和后期参考；也可以根据需要进行分轨静音。

图9 实时拍摄可听化的现场信号通路

5 虚拟摄制可听化的展望

随着虚拟摄制流程的日渐成熟，借助渲染引擎等工具，具有动态特征的声音可听化功能将在其中发挥越来越多的作用。虚拟摄制的全流程可听化将助力电影项目开发和前期阶段的创意转化、方案预览和制定以及概念呈现。在拍摄时可以赋予虚拟场景以临场感和真实感，为演员提供表演提示，在拍摄完成时即可生成参考音轨，用于预告片生成或后期制作。原先处于电影摄制流程末端的声音后期也可以像画面制作一样进行后期前置，通过可听化界面选择声音设计方案，并通过远程协作的方式对声音细节进行实时迭代修改。可以开发高度模块化的声音资产，通过在渲染引擎中重新配置参数来发挥多种用途。由于实时可听化的加入，可实现交互功能的道具、录音和监听设备，以及各类穿戴装备的性能将进一步提升。此外，游戏开发相关的引擎工具和设计思路已经在影视内容制作中发挥着越来越重要的作用。可以大胆设想一下，以渲染引擎时序编辑器（Sequence）中横向的时间线（Timeline）和纵向的对象（Object）的形态为基础，在其中充分整合现有音频工具成熟的资源制作和数据处理手段，这样一种新型的基于对象的（Object-based）“数字音频工作站”，可能会在今后更多元的影视创作领域发挥更大的作用。

声音和画面作为电影这门视听艺术的一双“翅膀”，它们的发展一直是以“双螺旋上升”的方式进行的。可以说虚拟摄制使电影制作流程发生了又一次进化，画面的制作方式率先发生了蜕变，声音即将紧随其后。虚拟摄制的兴起并非偶然，当元宇宙让数字世界与物理世界得以实时叠加，当远程协同已然成为一种工作方式，当非线性和沉浸式环境赋予创作者和观众更多选择的权力，我们也需要运用新的技术、策略和内容来完成视听叙事。