包忆杭

多媒体电子音乐是电子音乐中跨学科融合性较强的一种类型，除了声音还带有视觉影像、激光、装置等其他媒介来增强作品表现力。增强现实技术是一种将虚拟信息通过多种计算机技术手段实时渲染后与现实世界的信息有机地融合，两种信息互为补充，从而强化人的感官体验的技术，融合增强现实技术的多媒体电子音乐中的实际案例比较少见，但是随着增强现实音频、空间音频等音频技术的出现，在沉浸式的联觉体验越来越受重视，电子音乐作品创作的媒介越来越丰富。然而对于声音创作者来说使用Cycling 74 MAX上手更快，本文通过模拟创作一个交互空间中的电子音乐，侧重分析基于Cycling 74 MAX声音创作环境下跨平台音乐交互设计的方法，基于耳机回放条件下声音空间定位的物理运算及数据转换途径，为融合增强现实技术的多媒体电子音乐作品提供一个更简便的实现声音听觉定位交互的方案，希望为此类作品的创作研究与实现提供一定的参考与借鉴。

一、Cycling 74 MAX与UNITY下的作品模拟环境搭建

Cycling 74 MAX（简称MAX/MSP）是一种图形编程工具且常用于新媒体艺术创作，特别是在音乐创作和声音创作方面。Cycling 74 MAX通过简便的图形编程，极大地方便了电子音乐和声音设计创作者探索电子音乐的可能性甚至完成视觉的创作。UNITY是常见的3D内容创作和运行平台，许多增强现实游戏也是通过UNITY制作出来，同时UNITY也可以通过基础的C#编程语言来提取数据。在本研究中将使用UNITY来搭建模拟交互空间，在这个空间原点上放置全向点声源，Cycling 74 MAX则负责电子音乐的创作和声音处理。

（一）声源定位所需的交互数据

本研究中Cycling 74 MAX对声音定位的处理思路决定了从UNITY中获取哪些数据，思路大致如下：1.随着声源与听者的距离增加响度衰减，同时听者听到频率也会有相应的损失；2.听者相对于声源的移动产生的声音多普勒效应；3.声源相对于听者的声像根据听者朝向与声源的角度得出4.在前后声像位置上采用频率衰减来区分。

通过上述思路得出主要所需的数据如下：听者在点声源为原点建立的空间坐标系中的位置、听者的移动速度、听者的朝向以及这个朝向与声源点形成的夹角。其中能通过基础的C#脚本直接从UNITY中提取的数据有：声源坐标（原点）（0，0，0），听者的坐标（X，Y，Z），听者的朝向（听者在自身为原点的三维坐标系中的Z轴正方向）。其中听者朝向与声源点形成的夹角并不能直接用从属性数据中提取，但是可以提取到听者朝向与原点三维坐标轴Z轴形成的角度“eulerAngles.y”、听者坐标与原点相连的向量与X轴的夹角，这两个数据可以用来计算出我们前面提到的夹角，计算方式于后文阐述。值得注意的是听者朝向与原点坐标轴Z轴形成的角度“eulerAngles.y”并不在物件的“transform.rotation”里，UNITY脚本中的变量 “transform.rotation” 是一个四元数，有x、y、z、w四个参数，这四个参数和UNITY面板中看到的物体的旋转角度“Rotation”没有直接关系，按度数存储的旋转角度存储在“eulerAngles”属性中。因此，如果你想直接调用“transform”中的旋转角度，那么需要在C#中写入提取“transform.eulerAngles”。

（二）OpenSoundControl协议下的跨平台通讯配置

OpenSoundControl（简称OSC协议）是一种网络传输协议，它的及时性和灵活性使其成为任何需要在软件或硬件两点之间进行实时通信的解决方案。在Cycling 74 MAX中OSC协议使用“udpsend”物件配置IP地址和发送端口、“udpreceive”物件配置接收端口。UNITY中需要加载C#脚本来配置OSC协议并绑定到物件上，需要注意的是UNITY的OSC协议数据传输需要运行搭建的场景才能进行数据的收发。

二、Cycling 74 MAX中声音的处理与编写

（一）声音衰减的运算处理

听者感受到的声音响度会随着距离变动以相当复杂的方式发生变化，现实世界中这种变化还取决于环境的温度湿度、风速风向等因素，但本次研究是针对电子音乐声音创作中简便的声音空间交互效果，所以本次研究搭建的这个虚拟的空间是一个理想可控的自由声场，且对声音的衰减采用类似游戏音频设计中的曲线衰减。通过OSC协议，在Cycling 74 MAX中得倒了听者的坐标（X,Y,Z），计算得到听者与声源相对距离r，模拟声源处于自由空间，选用声衰减公式L A（r）＝LWA -20*lgr-11，以上代数式在 Cycling 74 MAX中均可以通过“expr”等Object完成运算，如图1：通过选用这一衰减公式可以大致模拟出距离变化和听者感受到的声音大小变化。除此之外，在Cycling 74 MAX中设计两个滤波器，第一个滤波器用于模拟高频声在空气传播中的吸收衰减，第二个滤波器衰减用于营造声源位于听者前后两个方向时的听觉差异。

图1

多普勒效应在听感上表现为：当声源与听者进行相对运动时，二者相对距离缩小，听者听到的音调变高，反之则听到的音调变低，这种现象在现实生活中能被普遍观察到。想要模拟这种效应还是要从物理公式出发，多普勒效应的公式如下：f1 =（V+V1）/（V-V2）*f。在上述公式中f1为听者听到的声音频率，V是声音的速度，V1是人相对于声源的移动速度，V2是声源的速度，f是声源频率。在Cycling 74 MAX中，得到实时变化的坐标信息后可以使用“timer”物件来作为单位计时器以求得速度，“timer”可以帮助我们计算收到两次坐标数据之间的时间间隔，如图2：

图2

需要注意的是：如果在timer前面的运算中有使用到“trigger”物件的话会多触发一次“bang”到“timer”物件，使“timer”计时显示一直为0毫秒。由此得到单位时长内相对距离的变化，从而得到了V1人的移动速度，V2声源不可移动所以相对速度为0m/s。通过在Cycling 74 MAX中代入前述公式我们可以得出频率变化的比值来模拟多普勒效应。

（二）声音像位的运算处理

在本研究中，听者头部转动这一变量是固定声源声像变化的参考数据，因此声像的运算处理主要通过听者的朝向以及这个朝向与声源点形成的夹角A并选择使用三角函数的特性来进行判定。正弦函数在弧度为0~π时大于0，在-π~0时小于0，角θ的正弦值如果大于0且越接近1则声源相对于听者像位越靠右，小于0且越接近-1则声源相对于听者像位越靠左。由于我们能直接从UNITY属性中获取的听者朝向与原点坐标轴Z轴形成的角度β，观者坐标与原点相连的向量与X轴的夹角α，且通过OSC传出的是以顺时针方向计算的角度，范围是0~360，所以我们还需要经过换算才能得到角θ。具体换算过程如下图3：

图3

需要注意的是：Cycling 74 MAX中“expr”物件可以进行三角函数的运算，但是需要使用弧度制，因此还需要把UNITY传出的角度制转为弧度制再使用。得到sinθ值通过“scale”物件映射数值到“pan2”声像控制物件上，即可完成左右声像上的定位。前后方向上的定位还是根据三角函数的特性使用余弦函数cosθ的正负值来判定前后的声像定位。运算具体如图4。

图4

（三）电子音乐生成和交互

由于听者的位置是主要的交互因素，因而在电子音乐的表现上主要根据听者相对于模拟声源的距离远、中、近依次分为了三个段落，整体氛围也由听者走向模拟声源的过程，从宁静和谐转变为躁动混乱，第一个段落音乐材料为细雨声、树叶声等自然声采样与基于自然大调音阶的合成PAD音色与马林巴琴；第二个段落音乐材料不变，但在声音效果上进行故障化和降低采样率的处理；第三个段落音乐材料为密集不和谐音程的律动与伐木等环境噪声。电子音乐部分的创作在Cycling 74 MAX中主要分为音乐生成和音乐交互处理两个部分。

在使用的声音材料中，自然声采样和环境噪声采样为提前预录好放入Cycling 74 MAX中的，而乐音声部的构建和处理效果都通过图形编程的方式完成。PAD音色的合成主要依赖“mc”多通道物件，通过给固定音阶但随机八度的多通道MIDI信息分配到相应通道数的“cycyle~”物件，形成简易的正弦波复音堆叠形成PAD如图5。

图5

马林巴琴采样器的设计分为音序预置和采样处理两个部分，首先采样马林巴琴中央C音放入“buffer~”物件中，“buffer~”物件可以用来储存读取音频文件；其次进行音序设计，在作品中马林巴琴采样器有两个声部，都通过“drunk“物件使两个声部播放速度不断变化来产生一些节奏上的错位，来读取预先写好的MIDI信息，之后采样器针对马林巴中央C音高的调整通过“transratio”物件计算音高比值来进行音高调制如图6。

图6

音乐交互部分除了听者相对于声源距离的变化产生音乐段落的变化之外，在具体阶段的声音处理效果深度上也会产生变化。主要表现在第二段中的对声音材料进行了激降采样率处理并把故障噪声加入，听者在的距离越接近中心，故障噪声的生成越多，降低的采样率也越多。针对故障噪声的生成主要用两种方式生成：一是通过模仿磁带或者碟片故障读取速度不稳定来模拟故障声，这种故障声的特点就是由于走带速度的变化导致音高的偏移，由此可以使用“drunk”物件输出不稳定抖动的范围数值模拟不稳定的走带速度，再通过“sfplay~”物件播放预置的采样音频素材，将“drunk”物件输出的不稳定数值带入“pitchshift ”命令给入“sfplay~”后可以使音频的音高发生位移；二是通过“noise~”物件和“pink~”物件通过输出随机大小的噪声。

三、Cycling 74 MAX中声音空间交互表现的其他工具

通过前述的声音处理运算可以在Cycling 74 MAX中实现最基本的空间视听联觉，如果要实现更加细致的声音处理以贴近现实世界的声音反馈，可以添加头部相关传递函数（HRTF）的运算，以及加入拟定环境的物理因素例如温度、湿度等。在Cycling 74 MAX还有以下几种方式强化声音的空间感：“FFT-based binaural panner”，该库物件内部使用了“jit.matrix”来保存HRTF的数据，可以对双耳效应的听觉算法加以调整；“spat”库由法国现代音乐研究所（IRCAM）编写，创作者可以通过这个库实现三维空间中的声源定位，同时该库也包含了大量的HRTF数据；而由苏黎世艺术大学计算机音乐与声音技术研究所编写的“ICST Ambisonics”库，则基于 Ambisonics这一技术原理来呈现声音空间化的扩展包。

四、结语

本次研究中，通过基于Cycling 74 MAX构建了跨平台的声音空间定位效果，更深入了解多普勒效应、声衰减等声学现象和物理运算。目前研究实现了最基本的联觉和听觉空间定位需求，但为了更加具有沉浸式体验的听觉感受还需要在后续的研究中尝试加入HRFT等其他影响声音呈现的运算，以增强这类创作方式下的声音空间交互呈现效果，并结合增强现实技术在电子音乐和声音装置作品创作实践中探索更多的可能性。