郭 奇（中国美院上海设计学院200000）

浅析交互式媒体中非语言符号的叙事功能

郭 奇（中国美院上海设计学院200000）

交互式媒体作为下一代主流媒介形式，承载着信息传递的重要使命。交互式媒体在保留传统媒体语言符号和非语言符号的基础上，通过高科技的交互形式，衍生出更多带有叙事功能的非语言符号。这些非语言符号不但通过增强视觉产生，还会通过体感和手势动作创造而出。如能合理的掌握和运用这些非语言符号，来增强媒体的叙事能力，以满足交互媒体时代的艺术创作需求。

交互式媒体；电影化叙事；非语言符号

交互式媒体开启了人与机器的全方位沟通。从键盘、鼠标到触控和体感，交互随着媒介的变化进行概念的重新定义。智能化便携终端、语音和体感捕捉、增强现实和虚拟成像技术将会是未来文化传播与娱乐媒体的核心内容。交互使得影视的二次或者多次传播得以实现1。被称为第三代电影的影视媒体将是围绕交互技术创作的全新电影形态。非语言符号在影视媒体信息传递中大量存在，例如音乐音效、蒙太奇、灯光色彩和镜头运动等。而伴随着科学技术和观念革新的交互式媒体，则衍生出更多种类的非语言符号，影响并改变了媒体影像的叙事功能。

一、影像媒体发展各阶段的非语言符号叙事特征

传统影像媒体的本质是运用电影化的技巧通过视听媒介进行叙事，视听科技的发展不断丰富影像媒体的叙事表现材料，主要变革体现为以下方面。

1.非语言符号大量运用、电影化的叙事技巧的不断革新。电影化是电影特有的讲故事方式，非语言符号在蒙太奇、音乐、光影和构图中被着重研究。随着视听和科技的发展，灯光、字体和机械控制的进步引领影像媒体叙事技巧的变化。

2.视听媒介在技术进步的浪潮中快速发展。从无声到有声，从高保真环绕立体声到数字化音响系统，从IMAX巨幕电影到3D立体摄像技术，从标清到8K画幅图像，和今后的增强现实、全息投影等技术都在视听上起到举足轻重的作用。

3.电影始于故事并终结于故事2。叙事艺术是电影的终极追求，导演们总是执着于如何讲好故事，故事“讲”得好听，观众对该影片才会有代入感，从而引发共鸣。交互性的介入让影像媒体的叙事方式转向多线性、主观能动性，创作的开放性。交互性让观众参与“讲故事”，在叙事上与以前的媒体形式大不一样，其中除了传统的语言和非语言符号外，延伸出更多的非语言叙事形式。

二、交互式媒体中非语言符号的叙事功能体现

1.主观视觉选择

主观视觉选择是交互式媒体与观众互动的主要形式之一，也是影响影视作品叙事的主要因素之一。当观众与虚拟现实媒介发生交互活动时，观众可以主观能动的操控视线投射的图像位置，以此来选择所显现的画面或内容。由谷歌公司开发创作的360度全景式电影Google Spotlight Stories，现以APP的方式在移动平台投放，用户可以观看1部真人短片和3部动画短片。用户观看影片时，可以通过移动和旋转屏幕，来环顾电影场景中的其它角度，而不是导演安排的固定视角。这时的观众被赋予了更多参与影片叙事的权利，用于叙事的镜头语言的控制权到了观众手里，观众通过自主的视觉选择来完成故事讲述。非语言符号的创作不只是来源于导演，观众参与了摄像和剪辑的部分工作，也就是自发创造了用于叙事的非语言符号。

2.观众的肢体动作交互

我们的行为动作让我们和周围的空间发生联系，从与环境互动中感受空间。影视作品通过虚构具有真实感的空间来获得观众的认同，新媒体则更注重对空间的塑造，与观众产生互动。从以电脑为基础的媒体产品出现的一刻起，空间就一直是新媒体作品的中心观念。3观众通过体感摄像头或红外设备输入动作，便可以实现与虚拟景象的互动。这时观众的行为将转化为一种非语言符号参与叙事之中，影响叙事中每一件物体或者是事件，成为故事的一个组成部分。挥手，射击，站立或蹲下等观众行为转化为符号输入进程序，使电影场景中的虚拟物体产生相应的反馈：例比如环境中的落叶、雪花或是放弃主角转而向“你”跑来的恐龙等。这种交互除了适合大型博物馆或主题展览以外，也同样适合电影院，5D动感电影就需要观众做出射击、蹲下等动作进行指令输入，同时运用动感座椅设备和声光效果增加娱乐交互性。

7D电影的优势在于操作性和游戏性，但同时面临3D特效电影曾遭遇的困境：叙事的无力。3D技术的风险在于，有可能分散观众对故事、情感以及富有艺术创意的细节的关注。4如何在增加交互性的同时表现精彩的故事，是7D电影和其它交互式媒体共同面对的问题。

3.网络交互界面的手势符号

互联网影片作为交互媒体重要的组成部分，有庞大的用户基础。它基于网络技术，传播快而有效、影响力大。随着HTML5技术的成熟，互联网影片的交互性变得更加容易实现。在美国互动式电影短片网站The wilderness downtown上，观众只需在网站上输入自己的家庭地址，就会自动生成微电影短片。短片采用多画面形式并全部由浏览器视窗展现，影片内容则由实拍片段和谷歌街景地图组成。基于H5技术支持，在影片播放中观众可以与视窗中的电脑动画互动，影片结束后还可以进行社交互动。随着触摸显示器的普及化以及各种操作系统对手势控制的识别支持，手势控制最终会取代局限性较大的鼠标键盘控制，演变成更为人性化的操作体验。不同的手势对应不同的输入符号，例如两指分开即为放大、单指滑动是翻页等等。手势符号衍生为一种用于人机交互的公认代码，类似传统的字母缩写和标识图形，成为交互媒体中无可替代的非语言符号。

法国Quantic Dream公司于2010年开发的PS3平台游戏《暴雨》，是一款运用电影化语言设计，并当作电影来开发的交互式媒体游戏。游戏运用经典的QTE操作体现出游戏与玩家的交互。即在剧情发展时会有许多时间点需要用户进行互动操作，用户通过用方向摇杆来输入简单的指令以完成动作，指令的操作方式模拟我们日常行动的姿态，生成的行为会决定事件是否被触发。这款游戏虽没有针对触摸屏幕开发，但其将手势操作作为一种非语言符号，贯穿于整部作品之中，让观众在操作中和故事的主角一起体验跌宕起伏的剧情。

4. 虚拟空间距离

在非语言符号的研究中，美国学者E•霍尔提出人际关系和人彼此间的空间距离有直接联系的观点。他认为不同的人际距离对信息和情感的传递产生不同的作用，人与人距离接近则亲密，反之则疏远。同时，人所处空间大小的差异也会带来情感的变化，狭窄的空间会产生压抑的情感，宽广的空间则感觉舒畅。这些因空间而产生的情绪变化在交互性媒体中更为突显，是过去传统媒体所无法显现的。

在美国环球影城变形金刚和哈里波特等主题展馆中，运用了最高科技的全息影像和球幕电影设备，让观众获得以假乱真空间感受。场景的转换，镜头的推拉和观众的位置改变相呼应，虚拟空间营造出的极具气势的气氛，观众和影片建立起了无法割舍的情感线。

三、 交互式媒体非语言符号的叙事特点

1. 沉浸式体验中的交互性叙事

电影和游戏的诉求是让观众置身于影像营造的故事之中。虚拟现实设备可以将用户的视觉听觉封闭，用数字化的影像来替代实景，加上环绕立体声、动作跟踪、触觉反馈等技术来全方位传递真实的感受，以让观众获得沉浸式体验。电影化的非语言符号通过摄像机位置和角度、符号化的输入界面、虚拟的空间距离和观众的肢体动作反馈产生，影响着叙事的进程，让讲述与被讲述的关系变得更加接近。

2. 交互媒体叙事中非语言符号认知的统一性

美国学者提出“观众对统一性的追求成就了电影叙事的动机”的观点。传统电影叙事中，观众对于电影主题的理解来源于对于电影化语言的认知能力，例如蝎子代表恶毒阴险这个概念的认同是达成共识的，它来源于文化学习的经验和生活的经历。交互媒体产生的全新非语言符号要产生认知的统一，一部分继承了现有的电影化语言，另一部分将由行业标准来进行统一，例如手势和肢体运动的规范。一旦形成了新的规范，这些人机交互所运用的行为和动作将成为非语言符号中即定的概念，最终将形成一套适用于交互环境的识别系统。

统一的非语言符号对于叙事的流畅性和可行性有着重要的指导作用。在单人交互时，交互操作的统一化方式有助于为交互媒体的普及树立规范标准，帮助相关行业的生产和开发。而在以公共影院为环境的场所中，多人交互需要能够调动观众的统一性，因为选择的分歧会阻碍剧情的进展。互动的设计最好能是带有统一性的操作，例如运用按键的频率、或是击中的次数来决定剧情发展的分支。而多人交互时影院的座位排列可能会甚现环形或是可变换的，这在现代的球幕电影院中可以看到雏形，目的是使得每个观众与播放媒介的视角和距离统一，便于获得更为统一的叙事体验。

3. 交互媒体非语言符号引导的多线叙事

由于交互式媒体中非语言符号的空间性和主观选择性功能，叙事所要求的空间也具有更多不确定性，由此带来的观众对叙事效果的反馈也将会是多样化的，观众不同的选择会导致叙事不同的内容和形式，得到不同的结局和情感。多线叙事将会对未来交互式媒体的情节设计和表现手法有更高要求，但这并不等于内容的堆积和线索的混乱，叙事还必须保持形式和内容统一的基本原则，以足以让观众能体验到影像媒体叙事的艺术感染力。

在国产原创动画《亡命鸡礼花》的公众放映活动中，观众需要通过快速按键来让主人公逃离敌方的魔爪，这种在故事进程中需要观众输入指令的方式类似前文提及的QTE操作。根据操作的成功与否会引发两种故事走向。而早在2003年用DVD光盘发行的美国3D动画《龙与地下城》，运用了DVD的可控制界面来进行剧情分支的选择，并获得不同的结局。这类似日本非常流行的AVG式游戏类型，通过玩家的对事件判断和角色对话de选择来引发多线故事进程，玩家通过抉择改变主人公的命运，与剧中角色的情感产生共鸣。

四、交互媒体非语言符号叙事的跨界学习

交互媒体是媒体影像进入数字时代以来的划时代变革。随着视听技术的快速进步，多媒体叙事对语言和文字的依赖越来越少。交互媒体融合了游戏化的非语言符号，引导观众自发能动的进行叙事。7D动感交互电影就是通过新颖生动的游戏化叙事形式，让观众从视觉和体感上全方位体验故事内容带来的震撼感受。

除了游戏化的非语言符号，向绘画和动漫中跨界学习的非语言符号也有很多。电影《急速赛车手》《罪恶都市》等分别是向日本和美国漫画的致敬的典范之作。美国电影和叙事漫画的结合，不仅甚现体制化趋势，这反映在华纳公司重组DC漫画、迪斯尼公司收购神奇漫画等举措上，而且也表现出日益与黑色电影融合的新趋势。5而游戏、动漫和电影三者结合的经典案例则是前不久获得很高评价的美国影片《明日边缘》，其中运用了游戏读档和生命循环的概念讲述了一个科学幻想故事，获得多数游戏玩家和动漫爱好者的认同。当今电影改编动漫游戏作品的案例举不胜举，这也成为商业电影能够继续保持消费力的关键因素。以经济为尺度，将那些已经征服了第一批公众的主题改编，为电影工业提供食粮。6

随着新媒体技术和智能化硬件的不断革新，交互式媒体的跨界融合使得其叙事功能得到拓展。交互式媒体一方面延续电影化叙事优势、继承视听媒体的艺术特征，另一方面将其特有的非语言符号提炼而出，为未来的数字艺术作品增添了更多表现手段。同时，交互媒体的对于硬件的需求和依赖，也会吸引更多的游戏厂商和数码设备制造商加入，形成百花齐放的态势。未来可以预见的是，交互媒体的创作将以丰富的手段、先进的艺术创作理念和不断发展的科学技术，书写未来数字媒体行业的新篇章。

注释：

1.包鹏程汪伶俐.媒介融合对影视生产和传播的影响[A].见:张阿利.新世纪新十年中国影视文化的形势、格局与趋势[C].北京：中国电影出版社，2010:48.

2.詹妮弗•范茜秋（美）.电影化叙事[M].广西:广西师范大学出版社，2009:15.

3.孙绍谊.电影经纬——影像空间与文化全球主义[M].上海:复旦大学出版社，2010:188.

4.李亦中赵菲.辩证看待3D电影热[A].见:张阿利.新世纪新十年中国影视文化的形势、格局与趋势[C].北京：中国电影出版社，2010:25.

5.孙绍谊.电影经纬——影像空间与文化全球主义[M].上海:复旦大学出版社，2010:99.

6.雅克琳娜•纳卡奇[法]/著巫明明/译.好莱坞电影[M].北京:中国电影出版社，2008:94.

郭奇，中国美院上海设计学院，讲师。