任 瑞

基于光学多点触摸技术的交互式电子音乐探究

任 瑞

（宝鸡职业技术学院艺术体育系,陕西宝鸡,721013）

本文采用光学多点触摸技术和交互式电子装置，设计了应用与电子音乐创作的应用实践，并结合其中的技术，对其软件编程等进行了着重的阐述。

多点触摸；交互式；电子音乐

1 多点触摸技术概述

1.1 多点触摸定义

所谓的多点触摸，其则是指允许用户运用计算机装置，通过手指来对图形装置进行控制的一门技术。热多点触摸设备由可触摸设备或者是触摸板来构成，并通过软件来对触摸点进行识别。

截止到现在，实现多点触摸的技术其通常有很多，既可以选择介质的触摸技术，也可选择无介质的触摸的技术。而在有介质的触摸技术当中，其同时又可被分为光学和电学两个技术。使用电学的触摸则包括电阻和电容所构成的触摸装置，该类型通常其体积都比较小。而基于光学的其触摸板的体积在通常情况下都比较大。

1.2 多点触摸技术介绍

（1）受抑全内反射技术

该技术最先是由JeffHan所提出的光学感应方法。其主要是借助光的全内发射，原理则为其当光从高折射率介质射入到另外介质当中的时候，其入射角在大于一定的特定角度的时候，其光束则会被全部反射到原来的介质当中，而不发生折射。该技术则是根据这个原来，是红外线在亚克力板的内部产生全内反射，同时不让光线逃出。当用户在用手指接触到该触摸板的时候，其介质点内部的光纤则会被全部打破，而此时光线则会通过接触的介质反射，并将这些光线向下进行传播。而当光线在向下进行传播的时候，其内部的红外线传感器则会感知，将出点信息进行捕捉，并作进一步的处理。

（2）散射光照明（DI）技术

该技术则主要包括两种不同的形式：前置和背面散光。而这两种技术其都源自于同样的原理-图像内容和触摸表面上的手指间的对比度。其中所谓的前置散光则是通过周围的环境所带来的可见光，从触摸表面的上方将所有的光线照射到平面镜当中，而其中的漫射器则放在该触摸表面的底部或者是顶部，而当其某个对象在触摸到其表面的时候，接触区就会产生阴影，而被摄像头所感知。

所谓的背面散光则是从触摸屏的下方将光线头像屏幕，同理，在这其中，漫射器被放置在其中。当物体在触摸到该表面的时候哦，其会反射出更多的光，从而被而外的摄像头感知。其具体的原理图如图1所示。

图1 RearDI原理图

而该技术则被广泛的应用，如在2007年的时候，美国微软公司在发布其平板的多点触控的时候，则采用了该种方法。而透过该技术，其除运用手和手指，还可通过其他数种物体进行识别，从而实现人和计算机的协作。而在该研究中则选择RD技术。

2 交互式装置

2.1 传统交互装置

传统的交互装置则包括电脑鼠标、减胖、控制器等在内的装置，而这些装置在交互式的电子音乐在开始诞生指出则开始被应用。这些传统的交互式电子技术之所以如此的流传，是因为其具备着很大的优势，这主要体现在以下几个方面：

第一，传统装置和计算机有着紧密的联系，而通过该装置，作曲家则可轻松的对作品进行编程；

第二，运用传统的装置在安全性方面比较可靠，并且其发生故障的频率比较低；

第三，对演出的环境整体要求不高；

第四，从成本的角度来讲，其不需要进行设备的开发，并且在价格方面去花费要远低于现代的装置；

但是，传统平台装置也存在着缺点，如其交互性相对来说稍差。

2.2 基于体感游戏开发的交互装置

所谓的体感干技术其实质就是动作感应控制技术，通过体感装置对用户的动作进行的识别额解析等，并结合相应的程序而做出反馈。体感设备其最大的特点则是通过肢体可进行动作的控制，并改变以往的单纯通过手指所进行的控制。而现阶段比较出名的则是任天堂公司开发的游戏手柄Wiimote和微软开发的Kinect.Wiimote手柄利用陀螺仪加速度传感器对来自三维坐标进行感知，从而获取其位置、信息和速度等。而该装置其最为典型的特点是非常有利于对演奏家在演奏的过程的展现，如美国俄勒闪大学的杰弗里斯托莱特教授的《用手指完成的艺术》作品则是通过该交互装置实现的；Kinect的优点在于其精度高，并且对其控制不会受到任何的束缚，并可排除其他的干扰。在该系统中我们选择Kinect装置。

2.3 基于智能终端的交互装置

智能手机成为当前交互式电子音乐的热门，并有着众多的开发团队和厂家。而针对电子音乐作家来讲，其想将智能终端改为交互电子音乐，其是十分容易的，并可通过各方面对其进行控制和选择。

3 交互性装置设置的流程

在对多点触摸装置进行设计的时候，其需要整个系统当中的硬件和软件两者之间的配合，也就是一方面需要对动作的捕捉，同时也需要相应的软件对其进行解析，从而将其转化成声音或者是图像。而其基本的步骤则为通过对多点触摸板的设计，并和计算机的通信进行连接和音乐程序的编写，再通过软硬件的调试和最终的测试后进行使用。其具体设计的图纸则如图2所示。

图2 散射光照明多点触摸板设计原理图纸

4 软件编程

在对该系统进行设计的过程中，则采用Max/Msp软件平台对音乐编程进行开发。以《镜像II》作为实例，四个扬声器的声音均来自新笛和小堂鼓的实时演奏，所以Max/MSP软件其所起到的作用则是对来自麦克风的相关乐器的演奏信号进行拾取与储存，并可随时对相关的信息进行调取和播放；其次则是按照相关的指令，对其存储的乐器演奏声音信号以不同的时差分配至指定的扬声器。而通过这样的方式则形成了作曲家与演奏家、作曲家和Max/MSP，演奏者和扬声器三者之间的交互。在谱例2中可以看到新笛和小堂鼓的声音被依次分配到四个扬声器中，形成对乐器声部的模仿。

图3 《镜像II》开始片段

而要实现上述的步骤，则必须对其进行编程。而其步骤则分为两个部分，其一是实现对数据的传输和映射。通过将构建的信息映射到Max/MSP当中，则需要实现对Java和Max/MSP两者的信息交换。在这个步骤当中，Max/MSP本身则内置了UDP协议，因此，通过对两者共同来使用。同时由于采用的是二进制的传输协议，因此，在其中还必须加入fromsymbol物件，实现将数据转换为可识别的数字。

其次则是实现将坐标转换成声音。在确定不同的场景之后，其将不同的信息分发给不同的“打包的模块”。其中，坐标的不同，其位置也就不同，而播放的音频采样也就不同。而声音的变形部分，主要使用了“抽取采样片段生成”的技术手段，该技术可以根据触摸的参数来选择抽取采样的不同位置、不同长度的音频，并釆用不同的音高将其转化为。

通过上述的设计，由此形成了可利用交互式的电子音乐。从而使得形成了以信息技术与音乐创作为一体的音乐盛宴。

[1] 李鹏云.刘健交互式电子音乐《奉献》中的创作思维与技术[J].黄钟(中国.武汉音乐学院学报),2012,02:48-55.

[2] 杨扬.交互式电子音乐的原理与技术[D].上海音乐学院,2010.

[3] 王甜甜.混合型电子音乐中室内乐队与电子音乐之创作理念及技法研究[D].上海音乐学院,2013.

任瑞，女，1977年4月，1999年毕业于西安音乐学院，讲师，在读硕士。

Interactive electronic music research on optical multi touch technology based on

Ren Rui
(The Baoji Vocational Technology College Art Department of physical education,Shaanxi,Baoji,721013)

In this paper,by using optical multi touch technology and interactiveelectronic device,designed for the application and the practical application ofelectronic music,combined with the technology,the software programming areexplained.

Multi touch；Interactive；Electronic music