[东南学院 南京 210096]

功能语言学视角下的多模态语篇符号间的衔接研究

□王正[东南学院 南京 210096]

以功能语言学理论为基础，对多模态语篇中视觉符号和文字符号之间的衔接关系进行了的总结和扩充。扩大了多模态语篇中不同符号之间衔接范围，把人际意义衔接和语境衔接纳入符号间的衔接范围。并且对人际意义衔接和语境衔接分别进行了详细的阐述。对人际意义衔接的阐述主要从语气结构和态度系统两个方面，对语境衔接主要从文化语境和上下文语境两个方面阐述。

多模态语篇；符号间的衔接；视觉符号；文字符号

引言：

在过去的十几年里，多模态语篇已经成为语篇分析领域里的一个研究热点。许多学者从Halliday的社会符号学出发[1～2]，以系统功能语言学理论为基础，对多模态语篇进行了大量的研究。

本文主要研究的是多模态语篇中不同符号模态之间的衔接关系，即不同模态符号模态之间是通过哪些衔接手段形成一个连贯的多模态语篇的。本文的目的是在总结以往研究成果的基础上，提出一个完整的视觉符号和文字符号的衔接理论框架。并对这个理论框架中前人没有做过研究的部分进行详细的阐释。

一、以往的研究成果和不足

国外的一些学者对于文字符号和视觉符号之间的语义关系和衔接关系，已经做了一些探索性的研究。这其中比较重要的有Royce、Martinec&and Salway、 Unsworth、 O’Halloran、 Jones和 Liu&O’Halloran等人的研究[3～9]。这些研究从不同的角度探索了多模态语篇中视觉符号和文字符号之间的衔接关系。限于篇幅，本文不在这里对他们的研究成果进行详细阐述。

但是在所有以往的研究中所提出的视觉符号和文字符号衔接关系的理论中都缺少人际意义衔接。由于视觉符号的意义系统和文字符号的意义系统一样，由概念意义、人际意义和谋篇意义构成，所以视觉符号和文字符号之间的衔接关系应该包括人际意义的衔接。

另一方面，以往的研究所提出的衔接理论框架只局限于语篇内部衔接，没有从语篇外部的语境层面探讨不同符号间的衔接关系。张德禄认为任何一个语篇都是情景语境中的语篇，所以任何语篇由语言形式体现的意义都不是完整的，总有一些意义是由语境因素实现的[10]。O’Halloran也指出，不同符号间的语义互动，不但会发生在表达层和内容层，也会发生在语境层。所以在研究视觉符号和文字符号的衔接时还应该将语境因素考虑在内，研究不同符号模态在语篇外部的衔接关系[6～7]。

二、视觉符号和文字符号衔接的理论框架

语言的意义系统由三种意义组成：概念意义、人际意义和谋篇意义。用以组织三种意义的语篇意义关系都是衔接关系。所以，应该从概念、人际和谋篇三种意义的组织方式的角度来研究语篇内部和外部的衔接[10]。

Kress & van Leeuwen认为，视觉符号的意义系统和文字符号的意义系统一样，由概念意义、人际意义和谋篇意义构成，并且以再现意义(Representational meaning)、互动意义(Interactive meaning)和构成意义(Compositional meaning)来表述视觉符号的意义系统[11]。由于视觉符号系统同样具有概念、人际和谋篇意义，所以我们在研究视觉符号和文字符号的衔接之时，同样要从概念、人际和谋篇三种意义在两种符号之间的组织方式的角度出发。

综上所述，我们结合以往的研究成果，对视觉符号和文字符号的衔接关系进行总结和扩充，见表1。

表1 视觉符号和文字符号的衔接理论框架

表1提出的符号间的衔接关系框架分别从语篇的内部和外部对多模态语篇不同符号间的衔接手段进行了总结。该理论框架首次将语境衔接和人际意义衔接纳入了多模态语篇符号间的衔接系统。

三、对视觉符号和文字符号衔接理论框架的阐释

（一）多模态语篇的内部衔接

1.概念意义角度的符号间的衔接关系

概念意义角度的符号间的衔接关系包括逻辑意义衔接和经验意义衔接两个部分。逻辑意义衔接包括对比、添加、因果关系和时间顺序四种衔接关系。经验意义角度的符号间的衔接关系包括对应、反义、上下义、整体-部分、搭配和多义六种关系。

对概念意义角度的不同符号间的衔接关系Liu&O’Halloran、Jones、Royce和O’Halloran已经做过较为详细的论述[10,8,6～7]，在这里限于篇幅，不再重复。

2.人际意义角度的符号间的衔接关系

在多模态语篇中人际意义的衔接主要包括语气结构衔接和态度系统衔接。

首先是语气结构的衔接。在文字语篇中，某一语气类型的高频率出现表达某一人际意义的突出。例如，如果一个语篇中的句子都是陈述句，这个语篇在一般情况下是说明性的，用以提供信息。大多数语篇都属于此种类型。如果一个语篇中的句子都是祈使句，则这个语篇的主要功能是指导性的或命令性的，如说明书、菜谱等。这些同类型的句子之间形成一种同类关系，具有衔接作用[10]。

（1）在多模态语篇中，不同符号语篇之间语气结构的一致具有衔接作用

图1是选自诺基亚官方网站的诺基亚手机安装SIM卡和电池的操作指南。这是由图文组成的一个说明性语篇。我们先分析图像的互动意义。视觉语法的互动意义就是指功能语法的人际意义。互动意义由目光接触（Gaze）、社会距离(Social distance)、视角(Perspective)和情态(Modality)四个要素构成[11]。其中视觉语法之情态表达的是图像的‘真实度’，可以分为高、中、低三类（Kress & van Leeuwen 2006）[11]，这与功能语法中的情态所表达的‘可能性’是相对应的。视觉语法中由目光接触、社会距离和视角所表达的人际功能可以看作是功能语法中语气结构所表达的人际功能。也就是说目光接触、社会距离和视角三者共同构成视觉语篇的语气结构。

目光接触是指图像中参与者通过目光的指向与观看者之间建立的一种想像中的触关系。当参与者的目光指向观看者时，这类图像叫做“索取”(demanding)类图像，表达参与者向观看者索取的意义，当参与者不是有生命的人或动物,或者当参与者的目光不指向观看者时，这种图像被称之为“提供”(offering)类图像,表达提供信息的意义[11]。

图1 诺基亚手机安装安装 SIM 卡和电池的操作指南

从接触的角度分析图1，我们发现图像中的参与者不是有生命的人或动物，图像中没有参与者与读者的目光接触。所以图1是提供类图像，其语气结构符合表达提供指示和信息的功能。

而图1这个多模态语篇中文字内容的句子全部为祈使句，其主要功能是指导性或命令性的，属于指示说明类语篇，表达提供指示和信息的功能[10]。

所以，在这个多模态语篇中，视觉符号的语气结构与文字符号的语气结构是一致的，两者共同构成操作指示这一类多模态语篇语气结构的特点。在这个语篇中，视觉符号的语气结构与文字符号的语气结构是一致的，形成一种同类关系，具有衔接作用。这一类衔接属于人际意义衔接。

（2）不同符号语篇所表达的一致的态度意义，具有衔接作用。

在讨论态度意义的衔接作用时，本文以评价系统理论为基础。评价系统是人际意义功能的一部分，它是由Martin等人创建，其理论系统在Martin &Rose和Martin & White中都有较详细的论述[12,13]。国内学者，如王振华等也对评价系统理论做了详细的介绍，在这里对于评价系统的基础理论不再介绍。不过以往对于评价系统的研究主要以文字符号语篇为主。对于多模态语篇评价系统进行研究的主要有Martin、Chen和Economou[14～16]。

Chen对小学和中学英语课本中图文并茂的多模态语篇的评价意义进行了研究[15]。Economou以报纸上新闻报道的照片为例，对视觉符号的评价系统做了较为系统的研究[16]。两人的研究都证明文字符号的评价系统理论在很大程度上也适用于视觉符号。文字符号评价系统的三个子系统：态度、介入和级差都可以在视觉符号系统中得到实现。由于对视觉符号之评价系统的研究还处于起始阶段，其研究成果还有待于进一步完善，再加上篇幅所限，所以在这里，对于视觉符号的评价系统不做详细的说明，我们会在以后的研究中作进一步的阐述。在这里我们只讨论评价意义的衔接作用。

我们在讨论评价意义的衔接作用时，只分析评价系统中的态度子系统对于多模态语篇的衔接作用,不涉及级差系统和介入系统。因为级差系统可以看做是对态度系统的细化，而介入系统主要是表明态度的来源。所以评价系统的核心是态度系统，级差系统和介入系统是对态度系统的完善和修饰。

文字符号的态度系统次系统化为：情感（Affect）、判定（Judgement）和鉴赏（Appreciation）三个子系统。情感是用以表达情感反应的资源；判定是根据各种不同的标准来评价行为的资源；鉴赏是表达事物价值，包括自然现象和符号现象(既包括产品也包括过程)的价值的资源[12～13]。

视觉符号的态度系统同样包括情感、判定和鉴赏三个子系统[16]。下面我们分别从态度系统的情感、判定和鉴赏三个子系统分别阐述评价意义的人际衔接功能。

1）情感系统的衔接作用

图2

图2是选自蒙牛集团官方网站的一幅平面广告语篇。这是一个比较典型的广告语篇，在图中一名年轻女子占据图像的中心部分，手中拿着‘蒙牛真果粒饮品’。作为图像的最主要参与者，她脸上快乐、满足的笑容是显而易见。

Economou认为，视觉符号情感系统实现的方式之一是通过视觉情感内嵌（Visual affect inscription）。视觉情感内嵌就是指快乐、安全、满足（和与之相对的痛苦、恐惧、不满）等情感，可以很清楚的在图片中通过人的面部表情和肢体语言等表达出来[16]。

所以，图2中内嵌的情感意义是正面的，可以理解为快乐和满足，这是通过图片中的参与者的表情表达出来的。在女子的左边，有两行字：“喜欢蒙牛的900，000，000个理由”。文中‘喜欢’一词所表达的正面的情感意义和图片表达的情感意义相似，图像和文字的情感意义形成了一致。情感意义在这里对视觉符号和文字符号之间起到了衔接作用。这一类衔接属于人际意义衔接。

2）判定系统的衔接作用

图3

图3是北京青年报2010年2月12日第六版刊登的一条新闻，在这条新闻的插图中我们可以看到，一个女被告手捂着脸在哭泣，她身后是两名表情严肃的人民警察。在图中，女被告处于最突出的位置，是图片中最主要的参与者，由于她所处于被告的位置（身后有两名警察，背景是法庭），对于女被告，图3表达的判定意义是负面的，可以理解为她因为触犯了法律，受到了法律的处罚。新闻的大标题为：“沪‘倒楼案’6被告一审获刑，下面的小标题为：构成重大责任事故罪，且情节特别恶劣，均有自首情节，刑期分别为3年5年”。‘重大责任事故罪’、‘特别恶劣’、‘自首’、‘刑期’这些词汇所表达的判定意义也都是负面的。在这个由视觉符号和文字符号所组成的多模态语篇中，文字与图片所表达的对女被告的判定意义是一致的，这种判定意义的一致性在视觉符号和文字符号之间起到了衔接作用，具有衔接功能。这一类衔接显然是人际意义的衔接。

3）鉴赏系统的衔接作用

图4

图4是选自北京晚报2010年2月11日第8版的一则漫画新闻。新闻的文字内容是：“丰田多款车型踏板存在质量缺陷，大量召回。之前丰田公司也曾因机油软管漏油、刹车失灵等问题召回汽车。丰田全球品牌形象和产品质量越来越遭到质疑”。在这幅漫画新闻中，丰田公司被比喻为一个牧羊人，丰田的汽车被比喻为一头头伤残的牛，（丰田汽车的标志好像一个牛头形状）。在这里，图片中丰田汽车被比喻为伤残的卡通形象的牛，显然具有负面的鉴赏意义。文字内容中：‘残疾，机油软管漏油、刹车失灵等问题，品牌形象和产品质量越来越遭到质疑’所表达的鉴赏意义也是负面的。所以在这个多模态语篇中，文字符号和视觉符号所表达的鉴赏语义是一致的。这种一致性在视觉符号和文字符号之间起到了衔接作用，这一类衔接也属于人际意义的衔接。

3.谋篇意义角度之符号间的衔接关系

谋篇意义角度的不同符号间的衔接关系主要包括：指称，主位-述位结构，已知信息——信息结构和平行结构四种衔接关系。

对于语篇角度不同符号间的四类衔接关系，前人已经做过较为详细的论述。其中O’Halloran对指称系统做了论述[6]；Kress & van Leeuwen对于已知信息-新信息和主位-述位结构做了论述[11]；Liu&O’Halloran对平行结构衔接也有较为详细的论述，在此不详论[9]。

（二）多模态语篇的外部衔接：视觉符号和文字符号之间的语境衔接

连贯语篇的基本标准是其意义形成一个整体，并与一定的语境相联系。然而任何语篇都是情景语境中的语篇，所以任何语篇的由语言形式体现的意义都是不完整的，总有一些意义是由语境因素实现的[10]。

语境（Context）可以指语篇内部的环境，即“上下文”语境（Linguistic context）；它也可以指语篇产生的周围情况、事件的性质、参与者的关系、时间、地点、方式等，可以称为情景语境（Situational context）；它可以指说话人所在的言语社团的历史文化风俗人情，属于该言语社团的人一般都能理解其在语篇中的意义，可称之为文化语境（Culture context）[17]。

情景语境，严格讲主要指口语语篇中某些上下文无法弄清的意思，需要参考使用语言时所发生的事件、参与者和时空方式等因素才能贯通起来[17]。因为本文局限于研究图文构成的静态多模态书面语篇，所以情景语境的衔接作用在这里不做讨论。

下面，本文将分别讨论文化语境和上下文语境对多模态语篇图文衔接所起到的作用。

1.文化语境衔接

任何一个语言使用者都属于某一个特定的言语社团，每个言语社团都有长期形成的历史、文化、风俗、人情、习语和价值标准。这个必然反映于该言语社团的共同语中。因此对语篇的真正理解还得联系最高层次的语境，即历史文化语境[17]。

图5是北京青年报2010年2月8日第五版刊登的题为《青少年传习中国传统》的报道。

图5

这则报道的主要内容是：“北京市团委，北京市青少年国学院主办北京市青少年传统文化传习活动，号召青少年晨读国学经典，晨唱京剧国粹，晨练毛笔书法，晨习太极拳法”。图片内容是一个十几岁的女孩在用毛笔写字，背景中有两个用毛笔在红纸上写好的‘福’字。图片的标题是：“青少年传习中国传统”。作为中国人我们很容易理解标题与图片内容之间的联系。因为我们知道，中国过年家家户户有贴福字和对联的古老习俗，并且用毛笔写字也是中国的历史传统。在这个多模态语篇中，‘春节传统’一词与图片内容：‘女孩用毛笔写字，以及她身后悬挂的用毛笔写好的福字’，通过中国有春节贴福字的传统这一文化语境形成衔接关系，构成一个连贯的多模态语篇。这是文化语境所起到的衔接作用。

2.上下文语境衔接：

图6是《读者》2010年第三期的一篇由图文组成的文章，图片是一副黑白的卡通画，画的是一个人在用铁锹在一片抽象化的地面上挖掘坑道，图片的文字标题是：大英帝国的马路‘补丁’。如果没有阅读文章内容之前，我们对于文字和图片之间关系的理解有一定的困难，造成理解困难的原因是图片和文字之间缺乏明显的衔接。

图6

文章的内容主要讲的是，在英美国家修马路之前地下管道等设施的准备做的很好，很少发生修完马路后重新挖开路面铺设地下设施的现象，在修理破损路面时，通常也只是对破损部分做一些修补，而在中国经常发生重新挖开路面铺设地下设施的现象，并且对于破损路面不是修补而是重新铺设，耗资巨大。当我们读完了文章的内容，掌握了上下文语境，对于图片和文字标题的理解就变得很容易了。图中的人民币符号形状的坑道可以比喻为对钱财的耗费，而挖坑道这个动作则可以比喻挖开路面铺设地下设施这种做法。通过文章内容所构建的上下文语境，使文字标题和图片构成了一个连贯的多模态语篇。在这个例子中，上下文语境的衔接作用是显而易见的。

结 语

本文提出了较为完整的视觉符号和文字符号的衔接理论框架，扩大了图像和文字的衔接范围，首次把不同符号间人际意义衔接和语境层面衔接纳入符号间的衔接范围。并且对符号间的人际意义衔接和语境衔接做了深入的探讨。不同符号间的人际意义衔接主要是由语气结构和态度系统实现的。对态度系统衔接的论述，主要以多模态语篇的评价系统理论为基础。对于不同符号间语篇外部衔接—语境衔接的论述，主要是从文化语境和上下文语境两个方面进行的。

本文所提出的不同符号模态间的理论框架，虽然以视觉符号和文字符号组成的静态多模态语篇为例，但其适用性并不仅仅局限于图文组成的多模态语篇，在很大程度上它也适用于其他形式的多模态语篇。

[1]HALLIDAY M A K.Language as social semiotic[M].London: Edward Arnold, 1978.

[2]HALLIDAY M A K & HASAN R.Language, Context and Text[M].Victoria:Deakin University Press, 1985.

[3]ROYCE T.Synergy on the page: Exploring inter-semiotic complementarity in page-based multimodal text[J].JASFL Occasional Papers, 1998, 1(1): 25–49.

[4]MARTINEC R.and SALWAY, A.A system for image–text relations in new (and old) media[J].Visual Communication, 2005.4(3): 337–371.

[5]UNSWORTH L.Towards a meta-language for multiliteracies education: Describing the meaning making resources of language-image interaction[J].English Teaching:Practice and Critique, 2006, 5(1): 55-76.

[6]O’HALLORAN K L.Mathematical discourse: Language,symbolism and visual images [M].London: Continuum, 2005.

[7]O’HALLORAN K L.Systemic functional multimodal discourse analysis (SF-MDA) approach to mathematics,grammar and literacy[C]// In A.McCabe, M.O’Donnell and R.Whittaker (eds.).Advances in language and education.London and New York: Continuum, 2007.

[8]JONES J.Multiliteracies for academic purposes: A metafunctional exploration of intersemiosis and multimodality in university textbook and computer-based learning resources in science [D].Unpublished EdD thesis: University of Sydney, 2007.

[9]LIU Y and O’HALLORAN K L.Inter-semiotic Texture:Analyzing Cohesive Devices between Language and Images [J].Social Semiotics, 2009, 19(4):367-88.

[10]张德禄.论衔接[J], 外国语, 2001, (2):23-28。

[11]KRESS G and van LEEUWEN T.Reading images:The grammar of visual design (2nd edition) [M].London:Routledge, 2006.

[12]MARTIN J R.& ROSE D.Working with Discourse:Meaning Beyond the Clause [M].London: Continuum, 2003.

[13]MARTIN J R & WHITE P R R.The Language of Evaluation: Appraisal in English [M].London: Palgrave, 2005.

[14]MARTIN J R.Fair trade: negotiating meaning in multimodal texts[C]// In P.Coppock (ed.).The Semiotics of Writing: Transdisciplinary Perspectives on the Technology of Writing.Bloomington: Indiana University Press, 2001.

[15]陈瑜敏.Interpersonal Meaning in Textbooks for Teaching English as a Foreign Language in China: A Multimodal Approach[D].Unpublished PhD thesis: University of Sydney, 2009.

[16]ECONOMOU D.Photos in the News:appraisal analysis of visual semiosis and verbal-visual intersemiosis[D]Unpublished PhD thesis: University of Sydney , 2009.

[17]胡壮麟.语篇的衔接与连贯[M].上海: 上海外语教育出版社，1994.

Studies on the Inter-semiotic Cohesions of Multimodal Texts:A Functional Linguistics Approach

WANG Zheng
(Suihua University Suihua 152061 China)

Based on systemic-functional grammar, this paper summarizes the cohesive relations between linguistic semiosis and visual semiosis in multimodal texts.It expands the scope of visual-verbal cohesion by including interpersonal visual-verbal cohesion and contextual visual-verbal cohesion.The paper also provides detailed illustrations of interpersonal inter-semiotic cohesion and contextual inter-semiotic cohesion.The former is done from the perspective of mood structure and attitudes, and the latter from the perspective of linguistic context and cultural context.

multimodel texts; cohesive relations between semiosis; visual semiosis; linguistic semosis

H0-0

A

1008-8105(2011)02-0067-06

2010−07−09

王 正（1977−）男，硕士，东南大学教师.

编辑 戴鲜宁