国　防

(华北电力大学，北京 102206)

1　引言

Kress和van Leeuwen于1996年提出“多模态话语”(multimodal discourse)这个概念，并比照系统功能语言学的3大元功能思想，创建视觉语法分析框架，为多模态话语分析的发展奠定基础。在国内，李战子(2003)发文介绍Kress和van Leeuween的《阅读图像：视觉设计的语法》(ReadingImages:TheGrammarofVisualDesign)以来，多模态研究迅速发展(冯德正 2017：2)。这一领域的兴起使人们意识到“语篇的意义生成不再单独依赖于语言符号的贡献，而是进一步凸显出视觉符号的重要性……多种符号体系融合起来，共同构建语篇的意义”(刘成科 2014：144)。“意义的建构需要多种符号的协同作用”(代树兰 2017：1)，而在由多种符号构成的多模态语篇里，图文是两种最普遍的符号表征结果，二者既分立又统一。

2　主要研究回顾

图像和文本的关系问题是“多模态话语分析中存在的瓶颈问题”(汪燕华 2010:74)。Barthes在阐述图像与文本的关系时指出：(1)文本附属于图像，文本信息用来加速对图像的理解；(2)语言呈现的内涵与图像外延密切相关，二者关系越紧密，其内涵意义表现越少；(3)语言内涵不可能与图像意义重合，更常见的情况是语言拓展图像的意义(Barthes 1977:25-27)。Kress和van Leeuwen对其观点提出异议，认为语言和图像都可以用来实现人类蕴含文化元素的基本意义系统，二者具有自己特有的表达方式。但要表达某种确定的意义，必须由语言来挽救(Kress, van Leeuwen 1996:19)。Royce以衔接和连贯理论为指导来分析图像与文本的关系。他认为，在图文并置的语篇中，从概念意义上讲，图像和语言之间的关系与语言本身之间的关系类似，从人际意义上讲，语言表达的意义更加确定，而图像需要借助文本将其意义确定(Royce 2006:70)。