基于网络白板技术的远程协同制作和监制系统设计与实现

2021-04-26王一夫

现代电影技术 2021年4期

靳宇王一夫

(1.华龙电影数字制作有限公司，北京 100088)

(2.灵然创智(天津)动画科技发展有限公司，天津 300200)

1 引言

电影工业化一直是影视行业的一个热点话题，而电影工业化上云是近些年来互联网交互技术发展带来的一个业内前沿观念。2019年9月，迪士尼影业与微软达成了一项为期五年的合作协议，旨在将微软云平台 (Microsoft Azure)引入到迪士尼电影制作与宣发的每一个环节中来。此外，Avid、Autodesk等国际知名企业也纷纷提出了基于云端协作的技术方案或云端版本的软件工具。

电影工业化上云的概念虽然提出了一段时间，但是目前行业内尚未形成广泛认可的释义。本文仅从行业实际需求出发，首先电影工业化的 “上云”，应该是带来更便利的协作模式和更快速的融入原有的电影工业化体系中，而不是需要用户重新学习一套全新的操作系统和使用技能，这不利于电影工业化上云的推广。其次，电影工业化上云应该实现“全流程”支持，即能够支持现有影视制作的绝大多数制作工具，操作模式没有较大变动，能够基本实现对各个流程环节的 “云端化”提升，而非提供一个全新的云端工具将部分制作工具纳入进来，形成一个对从业者来说有着较大陌生感的新的制作体系，这样带来的负担可能比上云带来的便利更多。总的来说，电影工业化上云带来的不应该是简单的 “算力”的提升或者颠覆性变革，而是在原有电影工业体系上的更加自由和智能化的升级。本文正是我们在电影工业化上云方面作出的尝试和探索。

传统的影视制作方法是导演与剪辑师、视效制作人员等协作完成影视节目的制作工作，一般要求多人在同一个时间空间进行集中工作。这种工作模式需要协调各方的工作时间，占用大量的交通时间、办公空间等，同时也常常受到地域限制而无法及时有效的推进工作。尤其是在监制环节，沟通、协调、交通、接待等方面消耗的时间甚至可能比真正在监制过程中花费的时间更多，造成了资源的极大浪费。特别受到2020年新冠疫情的影响，在地域之间的临时交通限制、工作场所的人数限制等防疫工作要求下，使得居家办公成为一种常态，也在某种程度上限制了传统影视制作中在同一时空中工作的模式。

为应对这一挑战，就需要为制作人员和监看人员提供一种远程协作的工作技术。传统的远程工作技术，如远程桌面等虽然可以满足居家办公的个人需求，但如果在工作中遇到问题或需要帮助时，依然需要通过录制视频、文件打包等方式发送给对方，无法满足实时的协同制作需求。因此而产生的消息延迟造成了工作量上升和时间的浪费。

为解决这一问题，我们实现一种基于网络白板技术的远程协同制作和监制系统，能够完成信号的远程同步，使用者可以远程实时交流，减少工作过程中交流不畅，实现了异地协同工作的可能。本系统的技术核心为在双方或多方屏幕上添加一个网络透明白板，该白板具有操作穿透性和互动性，既可以将白板上的操作穿透至后台电脑桌面上以完成工作内容，同时多方也可以在白板上批注出自己想要表达的意见和所指的位置。

2 系统关键技术

2.1 基于视频流的工作模式

图1 基于素材流的远程在线监制系统工作模式

目前具有远程在线监制功能的系统大致可分为两类：基于视频流和基于素材流。以往受限于网络带宽的限制，大多同类系统采用基于素材流传输的工作方式，即提前把模型、视频等素材文件发送给对方，然后双方同时打开同样的素材文件，双方之间实时发送交互信号用于同步画面、批准信息、视频进度等内容。显然，基于素材流的工作模式需要提前做很多准备工作，及时性较差，如需要提前把特定素材发送给对方；而且交互的信息也受限于素材格式，较难扩展，如针对三维模型素材的质检和针对视频的质检，交互的信息是不同的。

图2 基于视频流的远程在线监制系统工作模式

随着近年来网络带宽的逐步提升，在线视频、在线直播等业务蓬勃发展，同样也为远程协同制作和监制提供了基于视频流的成熟解决方案。在基于视频流的方案中，制作人员打开本地素材后，即可将本地桌面实时转码为视频信号并发送给监制人员，而监制人员和制作人员之间也可实时互传交互信号。基于视频流的工作模式依托于高速网络带宽可以实现实时交互，而且因为交互信号是面向视频流的，而该视频流又是基于制作人员的桌面环境，因此其扩展性非常强，几乎可以面向任何素材和制作软件。

同时，基于该方案也带来了额外的收获，即基于视频流的工作模式不仅可用于监制，同时也可用于协同制作。因此，本系统采用基于视频流的工作模式来实现远程协同制作和监制业务需求。

2.2 基于网络白板技术的信息交互

前文提到的基于视频流的工作模式需要在双方电脑内安装相同的通信软件，用于实时传递交互信号和视频信号，因此对跨平台的支持较差。而且软件的安装位置也限制了制作人员和监制人员的工作地点，不利于远程制作、远程协作。因此，我们提出了一个基于网络白板技术的信息交互方法，用于解决上述问题。

本方法中，我们利用一台服务器生成网络透明白板，该白板一方面可以提供画笔笔迹、文本编辑、语音录制等批注功能，同时也可以将特定操作穿透至制作人员电脑，用于电脑中软件的操作。我们这里的批注功能，不是针对某一已完成的对象，而是独立出来能够覆盖整个制作过程的，可以在任何软件工具以及任意的操作环节的制作中间阶段进行批注操作，这也是有别于当前常见的批注交流工具的主要特点。

图3 基于网络白板技术的信息交互

从图3 可知，采用网络白板技术后，网络中传递的信号主要可分为三类：控制信号、批注信号和视频信号。控制信号指的是用户对电脑的控制，在本方法中制作人员和监制人员均可控制制作人员的工作站；批注信号指的是文本信息、画笔信息等批准信息，制作人员和监制人员均在服务器提供的透明白板上进行批注；视频信号为制作人员的工作站桌面经过转码为视频信号后，与服务器提供的透明白板组合一起共同发给监制人员。采用网络白板技术后，监制人员的终端设备只要能联网即可，无需特定电脑或其他终端设备。

3 系统整体架构与功能实现

3.1 系统整体架构

更进一步，制作人员也采用远程桌面技术后，即可实现所有人员的远程协作制作和监制，包括在线制作、在线协同、在线监制3个主要功能：

在线制作系统：为制作人员提供了基于GPU的高性能影视在线制作主机，同时该主机输出即时桌面信号，将制作人员的操作画面即时传输到在线协同系统内。

在线监制系统：用于即时接收在线协同系统的桌面影像，同时可利用画笔功能，反向控制在线制作系统主机，从而针对制作人员的操作进行相关的批注与监看。

在线协同系统：为多个用户提供即时的在线语音文字交流平台，用户可在平台内进行相关项目的讨论，针对制作与监制的批注，协同系统还包括文件同步、会议记录和用户认证功能。

整个系统的架构设计图见图4。

图4 基于网络白板技术的远程协同制作和监制系统架构

在图4中，制作客户端通过远程协议登录在线制作系统服务器并发送自己的桌面镜像，随后制作人员即可通过本地终端实时控制运行在制作客户端的制作软件；同时，在线协同系统启动远程协同功能，将在线制作系统服务器中的桌面同步传送至在线协同系统服务器和在线监制系统服务器；监制客户端通过远程协议登录在线监制系统服务器，随后监制即可通过本地终端实时监看与在线制作系统服务器同步镜像的画面；在线协同系统也提供文字、批注、语音交流等功能，并同时同步给制作客户端和监制客户端。

由上述描述可知，在该系统架构下在线制作系统、在线监制系统和在线协作系统均独立于制作客户端和监制客户端，不会受限于客户端软件和硬件终端设备，具有极强的扩展性和易用性。

3.2 功能实现与应用案例

本系统提供双向协同批注技术，实现协同工作者之间的信息共享、超高清同屏批注、语音和文字聊天功能、实时交互功能，解决了远程多方协同工作的实时交流问题，节约时间和人力成本。同时系统因为利用独立于制作端和监制端的服务器来运行相关软件系统，因此除了可应用于影视行业外，也可应用于其他行业，并且不受终端平台的限制。