刘婷婷

（中国矿业大学外文学院，江苏徐州 221008）

时代的飞速发展催生了愈加丰富多样的信息传递方式，声音、图像、动画等各种符号经常被整合一起表达意义，并已经悄然渗透到我们生活的方方面面。这种各种符号和手段之间的相互协作构建意义一直成为语言学家们研究的焦点，关于多模态话语分析的理论研究和成果也越来越多。1996年，Kress& van Leeuwen 在Halliday 系统功能语言学的三大纯理功能的基础上，合著了Reading image: the grammar of visual design，这本著作第一次将视觉语法（visual grammar）进行了系统而全面的阐述，为多模态分析提供了一个全新的社会符号学的视角模型。

目前多模态话语研究的论著多集中在教学领域，其他领域的涉及及使用相对较少。该文欲在研究对象和研究方法上做出尝试，以明代画家唐寅的《西三草堂图》为例，分析此旷世之作中的视觉图像和言语文字是以何种方式交汇一起，继而形成更为强大的多模态交流行为。这也为中国诗画的赏析提供了独特的视角。

1 多模态语篇分析的理论基础

作为多模态语篇分析的理论基础，系统功能语言学对作为传递意义主要手段之一的语言文字进行了系统有序的描写、解释和评价。然而在多媒体技术飞速发展的今天，系统功能语言学的三大纯理功能被研究者们“移植”和“拓展”到现代多模态语篇分析中，不同模态被视为各自独立且又相互作用的“表情达意”的资源。1996年，Kress & van Leeuwen（1996）《Reading image: the grammar of visual design》一书的问世，Baldly (2000) 主编的《远程教育时代的多模式和多媒体》，Ventura，Charles and Kaltenbacher(2004)出版……