胡加圣 柴改英

(上海外国语大学,上海,200083；浙江工商大学,杭州,310018)

随着信息技术的不断发展,PPT(PowerPoint)、PPS(PowerPoint Show)、WMV(Windows Media Video)等应用软件(或软件模块)被广泛地用来创建演示文稿,服务教学、会议和日常信息交流。区别于普通的Word文档,这些文稿诉诸于读者的视觉、听觉等多种感觉通道,充分应用文字、图像、颜色、音乐、视频等多种符号系统,因而具有多模态性(multimodality)(“多模态语篇”的界定参见Kress & van Leeuwen 2001;李战子2003；张德禄2009)。本文重点讨论的是被胡壮麟先生(2010)称之为多模态话语大家庭中的一个新成员——“多模态小品”,它是一种新的提供一定信息量的、有一定品位和文艺鉴赏价值的交际形式。它围绕特定的题目,如“健康”、“生活”、“上帝不会问的十个问题”,通过若干张幻灯片自动翻阅或点击翻页,在向读者提供视听感官享受和体验的同时,传达或实用、或愉悦的精神信息。本文关注的话题有:(1)多模态小品的多模态性；(2)多模态小品的语篇特征；(3)多模态小品各模态间的互动性。第三个问题也将尝试思考Baldry和Thibault(2006)关于多模态语篇的研究课题:在把多媒体的意义生成资源综合应用到超语篇(hypertext)后,怎样才能使意义生成潜能成倍地增加。

1. 多模态小品的多模态性

多模态小品的模态参数共有3个,即文字(Language,用L表示)、图像(Visual,用V表示)、声音(Audio,用A表示)。其参数配置共有5种L、L+V、L+V+A、V和V+A。单一A模态的多模态小品,即没有图像和文字、只有乐曲的多模态小品到目前为止尚未发现。

虽然L(只有文字)和L+V(图文结合)是多模态小品早期制作技术不发达时常用的简单形式,但是,这种“简单”在技术水平已经很发达的现在也可以是一种有意之为:或者排除其他元素可能带来的干扰,使读者全身心关注内容；……