秦 毅，周 东，翁若伦

(上海音乐学院 音乐工程系，上海 200031)

《城市迷阵》是一部“音乐跨媒体剧场行为”作品，是2015年8月上演于上海二十一世纪民生美术馆的“声立方”——超感官空间的一个章节.

作品讲述一个关于上海的记忆迷阵，在这里，过去、现在与未来交织在一起，梦幻与现实之间的界线变得模糊.城市声音带着观众穿梭在这其中，而听到的远比声音本身要多得多.

本篇论文将着重讨论该作品是如何塑造“虚拟-现实”的情境式剧场空间，尤其从听觉角度予以剖析.

1 整体设计

该作品由说唱演员与扮成工人的打击乐演员所构成的现场表演以及3D音频、影像、手机装置、灯光等多媒体手段所构成的虚拟现实，形成全方位的沉浸式互动关系.以剧场的形式建构一场关于城市声音的“时空旅行”[1-2].

作品在一个由美术展厅改建而成的空间中演出.舞台区设于斜角45°空间内，在近似220cm×190cm的方形场地内，将舞台和音控区放置在对角线上，将中间大片的区域都留给听众以及非舞台的演出区域，以供演员进行剧场行为的表演.

图1 剧场布局的示意图Fig.1 The diaggram of the layout of the theater

在场馆内，上下共设置了3层扬声器.第1层为高密度圈，与人耳齐高，达到聚焦定位效果；而密度较低的第2层，用于增加延伸感，达到与上层音箱圈的平滑过度感；第3层扬声器分布于顶层，从顶部全方位包围观众.此外，整个演出场所还做了吸声处理，以利于整体3D音响的定位[3].剧场的布局如图1所示.

2 不同类型声音的处理

在《城市迷阵》中，我们采用的是基于对象(object)的3D声音处理以及“虚拟-现实”的听觉情境构建.以下是该作品中最重要的4种声源对象.

2.1 真实声音的再现

这一类声音本身几乎没有经过加工，剪切、拼贴和声音位置的变化是仅有的创作手段.我们的想象是基于对现实认识的，因此要塑造一个虚拟的空间，就必须给予这个空间与真实空间的联系.这些声音如同真实空间的地标，使虚拟的空间更加可信、亲切，这类声音包括地铁报站、脚步与喘息声、演员的耳语、视频中出现的人物对话、叫卖及相应音效等，其作用会在后文中谈到.

2.2 对真实声音的变形处理

由于作品中需要营造多层的迷阵空间，所以需要很多变形的声音来构建不同层的空间.按处理后的辨认度来分： 一类是虽然进行了滤波、混响以及播放速度的变化，但总体保持了声音语意的辨识度，这些音频处理也同时用于表达特定的“时间”或“空间”，如来自未来的新闻播报，又如在作品中出现的很多标志性的“叫卖调”，对其采用混响和高频的滤波营造出不同的距离感，配合空间化处理；另一类是把上海市井的声景进行“背景”化处理，其中部分经过了长时间的混响和长时间、较高反馈的延迟处理，作为一个类似音色垫的，感觉极为遥远、恍惚的声音素材，在观众席后方及两侧半包围出现.在处理过程中我们也通过压缩、限幅等效果器减弱这个素材的动态，对于自然声景中特别突出的声响进行人为的删减，使得总体听感更为平稳，同时也削减其中传达的具体的语义信息.此外，还有一些音频处理是用于表达特定的“时间”或“空间”，如来自未来的新闻播报等.

2.3 音效类音响

这部作品将一些具有记忆引导的音效作为时空变化的结构点，不仅在不同的情景之间起到了承上启下的作用，同时又为总体的虚拟空间带来统一性.这类音效往往伴有极其显著的声音位置变化，让听众对下一种音响效果迅速地有所准备，也带来了叙事意义上的时空转换.

在无数地铁列车的情景之后，听众的头顶将“开”过一辆飞驰的老式电车.这个声音来自加速5倍的电车录音，作为一个点声源在3s不到的时间内从音响阵列的上方的最后面，飞速移动到最前方.作为城市公共交通的早期代表，老式电车不仅在城市运行的角色上，也在声音上和地铁有着相似之处.这令两种声音的衔接非常自然，但电车声出现之后独特的空间化处理使这个声音特别引人注目，也带出了瞬间增加的年代感.

承接滑稽戏演员的“沪语rap”与最后的湿地阵雨的是一声振聋发聩的惊雷.这个雷声也是整个作品乃至这套波场合成技术(Wave Field Synthesis, WFS)系统播放过的上下移动最快的点声源——1s内在音响阵列中间靠前的位置完成了从最顶层到最底层的移动.这种移动与自然界中的雷声并无相似之处，但正是这种空间化处理上的差别，让听众意识到这不只是一声普通的雷，而是一个信号，预示着城市高度发展后所需要警醒的后果，也完成了瞬间回到上海滩形成之初的心理旅程.

2.4 现场直达声

除了回放的电子音乐，现场演员的表演也是声音环境中的重要部分.一名滑稽戏演员同时承担了台词表演和与观众互动的任务，他的语言声经由无线麦克风拾音，在观众席前方的两个对称点作为点声源扩声.

4位打击乐演奏员在作品的不同部分分别扮演居委会工作人员、回收废品人员和建筑工人.他们的语言声和现场演奏并不通过音箱扩声，但由于他们的表演位置贯穿整个观众区，同样可以作为移动的点声源看待.

3 基于设计场景的空间维度构建

我们在《城市迷阵》中，基于叙事脚本，以不同声音空间层次的设计与安排为重要的切入点，构建作品的“虚拟-现实”的3D听觉情境[4].下面以3个情境为例来介绍.

3.1 “空间迷失”

这是作品的起始部分，地铁报站声音首先依稀出现在听众上方的前、后、左、右，随后出现频率加剧，并且每次都有不同的声音位置，不再仅限于听众上方，而是在全场布满点声源呈环形包围听众，加上地铁线路、站名的不同，短时间内就营造了一种将真实空间解构后重新拼贴的氛围，使观众有被迷失在一个陌生空间中的错觉.

而脚步与喘息声塑造了一个奔跑的人物形象，而这个只可听不可见的人物，给了听众极大的想象.而稍后出现的演员又会与这个形象重合，宣告这才是声音的主人.由于演员即将从听众“看不见”的地方走入听众的视野，脚步与喘息声的空间设计是从观众背后下方，逐渐向观众的高度和观众面前的方位移动的.

地铁报站声的环形还有一个由大到小、由四周到中心的收缩过程，而这一过程与脚步声从后到前的过程紧密配合.当脚步声到达观众席前半部分时，地铁的报站声也收缩到最里圈，素材出现频率达到最密集的状态.然后，加速的电车在最上方从后向前呼啸而过，在这一幕的高点直接进入下一情景.

“空间迷失”场景声音的空间化运动如图2所示.

3.2 “虚拟梦境”

这个情境主要由经处理的“街道声景”、“叫卖调”以及演员耳语的直接声这3类声音共同构建.这三者虽都源自于我们的日常生活，但各自代表着这个空间的“虚”、“实”、“过去”与“现在”.街道声景是这个场景中最为遥远、模糊的背景，它在观众席后方呈半包围状；叫卖调则是在观众席四周缓慢移动，作为中景；演员的耳语离观众最近，但依然呈现离散的状态，共同形成了一种梦幻、飘渺的意境.

“我搞糊涂了”“这怎么那么像我小时候”等耳语在录音棚中录制，并以几乎纯干声的方式在演出中回放，给听众超近距离的听觉感受.同时，这也承载着一部分作品的叙事功能.耳语的频率也是人类语言声中较高的，这个频率的声音定位非常明显，不需要很高的密度就能使听众感受到来自各个方位的听觉刺激.与脚步、喘息声呼应，耳语声也有一个从后向前移动的趋势，但比脚步、喘息声更为自由，左右、上下的变化非常丰富.

叫卖调全部作为点声源安排在全场各个方位，在回放的同时声源缓慢地在水平方向上移动，是一种对现实生活中商贩边走边唱情景的重现，也给虚拟的空间注入了生命力.

“虚拟梦境”场景声音的空间化运动如图3所示.

图2 “空间迷失”场景声音的空间化运动示意图Fig.2 The diagram of the movement of spatialized sound in scene “Lost”

图3 “虚拟梦境”场景声音的空间化运动示意图Fig.3 The diagram of the movement of spatialized sound in scene “Dream”

3.3 “城市工地”

演奏员出现在舞台和观众席中的4个位置，而预制的虚拟乐器声则以这4个点为中心，呈点状向四周扩散，几乎将听众包围.现场和预制的乐器都是具体的敲打物体的声音，同时也具有一定的音效意义.个别作为音效的声音，有着明显、快速的位置移动，如同声音随着演奏员的动作飞行一般.声音配合演奏员的肢体动作，使整个场景充满了动感.

4 交互系统的应用

在该作品中，实时交互系统的应用与预制音响穿插融合，突破了时间的线性，良好的沉浸式和交互式体验为观众构建了整个“虚拟-现实”的情境式空间.

《城市迷阵》的硬件部分分为3部分，硬件连接如图4所示.

第1部分是信号输入部分，作品中使用的是手机，手机中预制安装了特定编写的应用程序采集手机内部传感器的信号，通过布置在场馆周围的接收器进行收集，然后集成在一个网页终端打包发送给音频处理系统.

第2部分是音频处理系统，主要作为主音频电脑播放的，特定声音对象的效果叠加层，在特定时间点，根据现场内容触发或者由演员控制相应的事件，或者通过手机信号实时改变相关参数，然后统一将数据发送至音频核心处理器.

第3部分是视频灯光部分，通过与主音频电脑、交互音频电脑架构在同一网络中，达到同步音乐事件与声音对象，实时反映相关视频灯光事件.

图4 硬件连接示意图Fig.4 The diagram of the connection of hardwares

作品的音频交互电脑的主控制界面主要分为4个部分.

第1部分主要是事件编号、事件内容、预置参数、控制器平台设置、输入输出等基础部分.

第2部分是手机信号接收处理部分，工作是在收到两台手机(a, b)的原生态信号后，根据需要进行处理，变为实时控制所需要的方向、力度的参数后发送.

第3部分是音频播放.交互音频主要由两部分组成： 12轨道的播放器以及两组5轨道的样本触发器.播放器主要负责长段的铺底的音频播放，样本触发主要是触发复音的声音样本配合演出剧情.

图5 可视化交互控制界面概览Fig.5 The overview of the graphic user interface

第4部分是空间定位部分，这也是交互的核心部分.因为音频主处理器分别接收音频信号和位置信号，所以这里将对应的轨道编号，逐个进行定位或者路径编辑.最后由一个可视化交互控制界面(图5)直观地表现触发式样本的位置反馈.

作品中，实时音频交互主要用于处理以下3类事件：

1) 12轨道音频的实时路径空间播放

此时播放器进行播放，12个轨道的路径按照从远到近环绕并逐渐加速，路径设计配合着声音设计和现场演员的走位.

2) 手机a晃动改变音频音量和环绕速度

这一部分是交由现场演员实时操控的，在控制开关打开之后，音频播放器会播放两段风声的音频，但音频的播放音量和旋转的速度是与演员手中的手机晃动的程度从轻到重作0到1对应的.简单地说，演员晃动地越猛烈，风声就越大，转动地就越快，反之则几乎没有声音.同时这个信号还会发送给视频电脑控制视频的明暗.

3) 手机b晃动触发声音样本加上手动触发样本

这一部分主要是样本触发声音对象，由另外一只手机，通过晃动来触发播放声音样本，切换不同的内容；同时，在控制台上的触发按键也会根据进度触发几组复音样本，触发的信号还会发送给灯光和视频电脑，控制灯光的闪动和画面内容的切换.

致谢： 感谢霍英东教育基金会第十五届高等院校青年教师基金基础性研究课题“跨学科背景下的当代新媒体音乐研究”(项目编号： 151094)以及上海音乐学院项目支持.

[1] KIM J H, SEIFERT U. Embodiment and agency： Towards an aesthetics of interactive performativity [C]∥Proceedings 4th Sound and Music Computing Conference.Lefkada, Greece： SMC，2007： 231.

[2] ROCCHESSO D. Explorations in Sonic interaction design [M]. Berlin, Germany： COST Office and Logos Verlag Berlin GmbH COST，2011： 11.

[3] CORTEEL E, CAULKINS T, KUHN C. A quick introduction to wave field synthesis [EB/OL]. ftp： ∥ftp.ircam.fr/pub/IRCAM/equipes/salles/download/theses/these_Etienne_Corteel.pdf.

[4] CORTEEL E, CAULKINS T. Sound Scene Creation and Manipulation using Wave Field Synthesis [EB/OL]. https：∥www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0ahUKEwihtIzL38nSAhVFJcAKHcN7ASwQFggjMAA&url=http%3A%2F%2Frecherche.ircam.fr%2Fequipes%2Fsalles%2FWFS_WEBSITE%2FDocuments%2FWFS_overview.pdf&usg=AFQjCNGYcoXLj9SahcsaTDJltoc17imgCg.