王 馨

(东北农业大学，黑龙江哈尔滨 150030)

一、多模态理论

多模态理论(Multi-modal)主要来源于韩礼德创立的系统功能语言学，同时又吸收了皮尔斯等人的符号学理论中的媒介、对象、解释三位一体等理念。对于多模态理论语言学家们给出了不同的定义。Kress和Van Leeuwen(2001)指出模态可以定义为参与交际的所有渠道和媒介，除了传统的语言符号，它还包括图像、颜色、音乐、技术等符号系统。各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与日常的人际交往活动中，形成了多模态交流。李战子(2003)认为多模态指的是除了文本之外，还带有图像、图表等的符号话语，或者说任何由一种以上的符号编码实现意义的文本。顾日国(2007)认为模态指人类通过感官(如视觉、听觉)跟外部环境(如人、机器、物体、动物等)之间的互动方式。朱永生(2007)认为模态指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统。生命体与周围环境进行信息交换的界面和路径有五种感知通道:视觉、听觉、嗅觉、触觉和味觉。这五种感知引发出五种交际模态:视觉模态、听觉模态、嗅觉模态、触觉模态和味觉模态。这里的模态是指交际的渠道和媒介，包括字符、绘图、声音等符号系统。综上所述，多模态是指在交际中涉及多种感知模态或由一种以上符号系统共同编码构建整体意义进行交际。交际中要表达的意义要求不同的模态搭配参与，根据交际的概念意义、人际意义和谋篇意义对声音、语言、图像、动画等模态进行选择。……