常慧娟

(黄河科技学院,河南 郑州450000)

当代快节奏的生活方式,使人们不再愿意为了理解音乐的含义或结构去耗费更多的精力和时间,更可能的会愿意通过看的方式来理解和欣赏音乐作品,或者仅仅为了娱乐而已。在这样的背景下,视觉音乐很自然的就出现在了。

1 音乐视觉化的出现

1.1 音乐本源的视觉化

音乐在本源上就有视觉的因素,属于视听艺术,并与诗歌、舞蹈合为一体已是事实。无论从哪种起源说中都是把作曲、作词和演唱演奏者看作一体的,更没有把音乐的创作表演、传播营销等分开来研究。音乐独立成为听觉艺术也是社会不断发展的结果,我们现在对音乐的视觉和听觉关系的关注,以及对视觉化现象的研究,都是对音乐最初状态的升华或者说是高级回归,因为生产力的发展影响着每个阶段的表现方式产生差异,进而才会表现出来不同的时代特征。

1.2 音乐创作的视觉化

意大利的钉型和哥德式的乐谱,现代西方音乐的视觉探索,如约翰·凯奇的《4分33秒》等,这些现象在音乐的创作中就伴有视觉的因素。他们都是在通感联觉的作用下产生的。而作为音乐本身,并且在创作时就已经和视觉化相联系的,应该是作曲家在同一时间将作曲与相关的视觉元素进行构思,并将视听元素融合为一体的过程。在这方面,谭盾的音乐创作就很有代表性,因为在很多时候谭盾的创作是与视觉大师一起研究实现的。比如《地图》在创作过程中,谭盾为了搜集资料,曾先后两次深入湘西土家族、苗族、侗族去采集原始的声像素材,并将这些素材通过多媒体技术与现代交响乐融为一体。这样的作品中的听觉与视觉符号可以更有机地融合,互为补充,整体传达。

1.3 音乐表演的视觉化

音乐表演的位置是在社会生产力不断发展的条件下,由于音乐被独立成为纯听觉的艺术才被逐渐淡化的。直到现代,随着美学等理论的发展,音乐表演、音乐欣赏、音乐评论与美学研究作为音乐研究的一部分,其重要性才被人们重新认可。如果对音乐的研究还有进一步的空间的话,那么音乐表演中的视频录制、造型包装、舞台展示、灯光音响等元素的视觉传达,将会对音乐的自身及外在表现方式产生重大影响,其地位也将越来越凸显。

Micheal Jackson的《Thriller》就是将音乐表演视觉化的典型例子,在迈克尔·杰克逊之前,歌手只是对着镜头唱歌,没什么趣味。而MJ则是第一个将舞蹈融入到音乐视频中的,它将音乐、舞蹈、影视剧情等因素进行完美的结合,将音乐视频的发展推上了历史新高,评论家称赞这是迈克尔令人兴奋的不可抑制的表演。其影响力不仅席卷了音乐领域,还覆遍了舞蹈、时尚和电视。

2 可视化技术对音乐视觉表现的影响

2.1 音乐可视化的兴起

随着科技的不断发展,“可视化”悄悄地来到了我们身边。科学可视化、信息可视化等逐渐进入到了各个行业中,并得到了广泛的应用和发展。音乐可视化在对音乐的特征如音调、音高等进行提取之后转化为对应的可视化效果。产生出的视觉化效果也各式各样,如烟雾、水波、火焰等形态的变化,基于计算机技术而产生的复杂的、全新的虚拟角色及其虚拟场景的变幻的视觉效果。在Windows Media Player播放器中可以看到最典型的音乐可视化的播放效果,当然这种效果也只是属于初级的视觉效果。

2.2 音乐可视化的分类

(l)从维数来分,可以分为二维的可视化和三维的可视化两种。现在流行的许多网络游戏和动画片都在向三维的方向发展。许多电影通过三维技术实现了我们平时见不到的场景,三维技术创造的独特的视觉效果,给我们带来的视觉体验是非凡的,刺激的。

(2)从实时性来分,有硬实时和软实时两种。比如航天飞船的控制系统就是硬实时系统。如实时多媒体系统就是软实时系统。音乐可视化的处理基本上是软实时系统,如 Winamp、Cubic Player、3DMaxStudio和Softmage等。

(3)从交互性来分,可以分为交互的可视化和非交互的可视化两种。可视化基本上都是交互式的,就是服务使用者和服务提供者在音乐可视化系统之间进行信息交流的互动沟通的过程。

(4)从音频数据的类型分,一般可以分为对自然音频的可视化和对结构性音频的可视化两种。MPEG4音频标准把音频分为两类：自然音频和结构性音频。

(5)从显示理论的角度分,有沉浸式、半沉浸式、非沉浸式三种。沉浸就是说信息接受主体完全融人到一个虚拟环境之中。当我们欣赏一首优美的乐曲时很有可能听着听着就融入进去,完全忘了自己的存在,只有心情跟随着音乐的节奏不断变化,这样就有了沉浸感。显然,艺术作品如果能够提供沉浸感,就算是成功的,音乐可视化系统如果要被大家所认可,就更应该具备沉浸感。

2.3 音乐可视化包含的内容

2.3.1 特征提取

根据对音频的内容分析,音频的低层特征包括振幅、频率、相位等,高层特征包括音调、音高、节奏、速度等。这些特征提取出来之后,就可以转化为视觉的效果。目前一般的视觉效果都是对音乐在低层特征方面的提取和转化。常见的Windows media player,Winamp等的视觉效果就是从振幅和频率中提取的特征转化而来的。如果要得到更好的可视化效果就需要对音乐音频的高层特征进行提取,但难度也相对很高。

2.3.2 情感表达

表现出音乐的情感是音乐在可视化方向的终极目标。Hevner著名的论文通过实验研究了音乐的声音与听者的情感的关系。音乐自身带有情感因素这一假设,在这项实验中被证明了。Tao Li等人在此基础上对形容词组做了一些改动,并利用支持向量机(Support Vector Machines)算法对大批量音乐文件进行情感检测分析,取得了较好的效果。

2.3.3 可视化的形式

就是要采取何种可视化的形式来可视化音乐,它决定了可视化的表现效果,如火焰、水波、烟雾等的形态变化;二维、三维角色的设计,以及他们在一定场景中的动作变化,背景的设计等;或者以音乐自身的符号来进行变化;还有就是以一个钢琴作为视觉形象来表现自行弹奏等。

2.3.4 影像处理

可视化效果是由影像展示出来的。影像的处理,特别是对一些复杂对象的处理,能够得到充实、完满的视觉效果,来满足人们对视觉冲击力的感受。

2.3.5 虚拟现实

虚拟现实是由计算机生成的给人以沉浸感的虚拟环境。音乐可视化在通过虚拟现实技术和三维技术的结合之后,可以使虚拟角色和虚拟场景给人以最大程度的沉浸感和极大的视觉享受。

2.4 音乐可视化的用途

艺术：借助乐谱可视化和动画来设计舞蹈动作,从而实现虚拟表演。

教育：音乐学习者可以与可视的和交互式的音乐乐谱系统进行互动,检验自己的音乐学习效果,提高学习者的兴趣。

娱乐：在演出现场或者KTV酒吧装上音乐可视化系统,可以给人以强烈视觉冲击;带有虚拟现实和音乐可视化系统的游戏,可以让使用者通过音乐接口来控制虚拟角色达到娱乐的目的。

商业：通过音乐可视化系统在灯具设计中的应用,可以使灯光随着音乐的节奏和旋律产生明暗、色彩或是图案上的变化;利用音乐可视化技术的音乐喷泉,使喷泉和灯光的变化与音乐同步,喷泉的效果更为生动。西湖的音乐喷泉是非常典型的例子。

阿恩海姆在《艺术与视知觉》中所说：“设计形态永远不是对于感性材料的机械复制,而是对于现实的一种创造性把握。它把握到的形象是含有丰富想象性、创造性、敏锐性的美的形象。”从音乐到视觉形式的转换,既要音乐自身的内容,也要考虑视觉元素的变化形态,还要在实际运用中让欣赏者产生共鸣。随着视觉表现的需求不断提升,新的表现形式层出不穷。但不管什么样的表现形式都要使视觉和听觉的效果达到既和谐又统一,而且更重要的是给人们带来美的享受。

[1]鲁道夫·阿恩海姆(美).艺术与视知觉[M].滕守尧,朱疆源译.成都：四川人民出版社,1998：35-46.

[2]朱吉虹,廖海进,陈星海.音乐元素在视觉艺术作品中的应用方法探讨[J].新西部,2010：135-136.

[3]白亮,陈剑赞,老松杨等.音频内容分析研究[C].北京：中国计算机大会,2003：492-496.

[4]屈天喜,黄东军,童卡娜.音乐可视化研究综述[J].重庆：计算机科学.