杨晓云

（北京外国语大学,北京 100089）

一、多模态的定义

汉语中的模态一词在不同学科中是称名不同内容的术语。它在逻辑学中是指事物或认识的必然性和可能性等这类性质；它在语言学中体现为情态研究，主要指说话人从必然性、可能性、现实性等方面对语句客观内容进行评价。在现代脑科学中，模态常用来指感官及其相应的神经系统。符号学用模态表示所有在社会文化中产生的用来表达意义的符号资源，即语言、声音、图像、颜色、动作等传递信息的不同形式或渠道。本文所关注的多模态的意义体现为：人作为交际主体拥有听觉、视觉、触觉等多种感知渠道；交流所借助的媒介、渠道的多样性；通过这些媒介和渠道所产生的多种符号资源，例如图像、声音、语言等。

二、多模态话语分析

语言是表达思想的最原始、最基础的符号系统，但人类在进行交际时并不只使用语言这一模态。早在人类原始生活的交流过程中就已经有声音、手势、符号等模态的参与。古代的壁画、雕刻等都见证了人们在利用多种符号传递信息。但长期以来，语言学家在对传递信息的符号系统进行研究时关注的只有语言，现代会话分析、语用学虽已开始关注会话参与者说话时的伴语言特言，但它们研究的主体还是语言，其他模态并为得到语言学的关注。

随着数字时代的到来，交际的多模态化越来越凸显，由语言的和非语言的多种表意资源构成的多模态话语成为人类话语实践的一种主要形式与主流趋势。……