■胡 勇

话语研究的多模态转向成为当今语言学研究和话语分析的重点关注对象。其中，图文关系是探讨多模态之间协同互补机制中最为重要的一组关系。以系统功能语言学和视觉分析框架为理论方法，探究多模态叙事绘本中，图文符号系统概念意义的创建以及图文意义的跨符号互补机制，并在此基础上，结合视觉叙事的有关概念，进一步挖掘图文符号系统在语篇共同实例化过程中的概念意义投入以及图文符号系统承载、激活和表达的意义总量，可为中国语境下多模态叙事语篇的图文互补机制研究提供新的视角和启示。

新媒体时代使人们的交际方式和生活方式发生巨大的变化，单一的语言模态已不再是意义创建和表征的唯一手段，而是逐渐由图像、声音、手势等多种媒介组成的交际模式所替代。20世纪90年代以来，多模态话语研究者在系统功能语言学的基础上开始探究语篇意义创建中语言之外的其他社会符号的语义、语法和描写系统，诸如图像、声音、空间等。对模态的定义和理解，不同的研究领域和研究方法持有不同见解，主要可归为三种：一是将模态定义为不同社会文化中所形成的创建意义的社会符号资源；二是将其视为诸如视觉、听觉等感官模态及相应系统；三是将多模态视为信息呈现方式。日常交际和话语实例中存在大量的非语言符号/模态，语言只是表达意义的众多社会符号之一，话语的多模态特征是当代话语研究的重点关注。近20年间，多模态研究发展如火如荼，已经呈现出开放包容的跨学科性质，不同学科间的相互融合、相互影响能有效推动多模态研究理论的发展。但国内对多模态语篇中图文互补关系的研究还属起步阶段，亟待发展，因此，笔者将在多模态话语研究的基础上，对多模态叙事绘本这一典型话语形式进行分析，从系统功能语言学和多模态叙事框架的视角探讨叙事绘本中的图文互补关系和衔接机制，挖掘图文符号系统在语篇共同实例化过程中的意义投入和语义赋值。

一、话语的多模态转向：多模态语篇图文关系的发展流变

多模态话语是当今人们社会交际活动的一种普遍的内在特质。话语研究的多模态转向成为当今语言学研究的重点关注对象，而图文关系是多模态协同、互补机制中最为重要的一组关系，近几十年来受到越来越多学者的关注。

（一）多模态话语图文关系研究的发展

近20年来，图文关系逐渐受到学界关注，图文关系研究主要从以下方面展开：

首先，考察多模态语篇中图文符号系统间的逻辑语义关系。在巴特图文关系的基础上，马丁内克和萨尔韦两位学者结合韩礼德的系统功能语法中小句逻辑语义系统的相关理论，进一步发展图文逻辑关系，划分了“逻辑语义”和“地位”两种关系。［1］(P337-340)其中，图文逻辑语义系统将图文关系分为扩展关系和投射关系。图文地位系统则涉及图文关系中的等同和不等同关系。杨信彰以两本双解字典为分析对象，从逻辑语义关系的视角讨论语言释义与插图之间关系，研究指出图文之间存在着“例举”“说明”和“澄清”三类关系，且“例举型的插图使用频率最高”。［2］(P51)

其次，探究多模态语篇图文模态间的隐转喻关系。虽然以语言符号系统为基础的隐喻研究得到了长足的发展，近年来，中国国内隐喻研究更是百花齐放，例如，关注语言系统的隐喻理论研究，隐喻与翻译方法及翻译过程中的认知研究，隐喻对英语学习者认知和隐喻能力发展的影响等；但传统经典“认知隐喻一直以来只关注语言体现，这蕴藏某种偏见：意义只存于语言符号”［3］(P4)，而“语言只是创建意义的符号资源之一，只关注语言这一类社会实践中的意义表达是不够的”［4](P8)。作为一种思维认知方式，隐喻的体现方式可以是语言，也能是其他社会符号和交际媒介。福塞维尔明确地划分了单模态隐喻和多模态隐喻，将多模态隐喻定义为“源域与目标域分别使用不同的符号资源来呈现或在不同符号资源中占主要地位。”［3］(P24)自此，中国国内学者开始关注多模态语篇中基于图文模态认知隐/转喻，强调多模态在隐喻构建过程中的作用。

再次，挖掘多模态语篇图文模态间的人际意义互动。克瑞斯和范·勒文在视觉语法建构的经典著作中提出不仅语言能实现人际交往中的互动关系，图像模态也能完成建构人际互动、表达情态意义等功能，他们将图像分为两种类型：即“提供”和“索取”图像。［5］(P119-124)提供型图像是指视觉构图中参与者为读者提供一定的信息/服务。反之，索取型图像是指视觉构图中参与者通过眼神聚焦和接触等向读者索取信息/服务。但这种将图像简单划分的观点引起了相关领域的争议。为了更好地探讨图文系统构建的人际意义，罗伊斯从符际互补的视角考察图文关系，指出不同的符号系统在创建读者立场，形成互动意义方面存在“强化”与“否定”的关系。［6］(P65-71)多模态语篇中的图文关系引起了学界的重视，而多模态叙事语篇实例化过程中图文符号系统所表征的意义和彼此间的相互关系更值得多模态话语研究领域的重视。

（二）多模态叙事研究境遇

中国国内的叙事学研究在半个世纪以来经历了由发端到鼎盛的巨大发展，涌现出大批学者，推动叙事学朝纵深方向发展。但国内学者研究多聚焦于单模态文学作品的阐释，对多模态叙事研究鲜有涉及，对多模态叙事绘本图文互补机制的研究更是凤毛麟角。多模态绘本，尤其是叙事绘本，是儿童生活、教育中的重要读物，在儿童读写教育、意识形态塑造和社会文化价值培植等方面发挥作用。儿童绘本受到学界多方面的关注，但在多数关于绘本的研究中，图像符号系统被视为次要方面，在意义建构层面上难以得到和语言符号系统同等重要的关注。近年来，国外已经开始重视多模态绘本的研究，佩因特等人提出了一个基于系统功能语言学的视觉叙事框架，将“三个元功能理论应用到视觉叙事当中”，是视觉图像分析理论的重大发展。［7］(P1-10)

反观国内，关于多模态叙事绘本的研究尚属于起步阶段。鉴于此，笔者从概念意义入手，以系统功能语言学和视觉语法为分析工具，探讨多模态叙事绘本中图文符号系统概念意义的跨符号协同机制。除了探讨多模态叙事绘本中图文概念意义如何互补，还进一步探讨图文符号系统在语篇共同实例化过程中的概念意义投入，从而分析不同符号资源在实例化过程中激活和表征的语义总量，以期为分析多模态叙事语篇图文相互关系提供一个新的研究视角。

二、多模态叙事语篇中图文概念意义的构建与互补

概念意义涉及人们使用语言来表征、识解和建构世界的功能，这样的功能并非语言符号所特有，图像符号、视觉空间符号和声音符号等众多的社会符号均具有此功能。在多模态叙事语篇中，概念意义具有通过不同社会符号来构建故事世界和故事人物，引导读者进入故事世界，从而参与到绘本叙事并与其互动的功能。本文选取绘本《邮递员叔叔的奇遇》①为研究对象。《邮递员叔叔的奇遇》由13个双面版面构成，讲述了邮递员大关叔叔在春节期间给村民送信途中发生的奇遇，主要故事人物为邮递员大关和雪人。邮递员大关在大年三十骑着自行车给村民送信，途中一个雪人在其疲惫的时候帮助推车送信，于是，大关叔叔送给雪人春节礼物，却在晚上惊喜地发现雪人们将冰块做成的发糕回赠予他作为新春祝福。整个绘本使用多元的叙事技巧，构建了流畅的故事情节，通过故事叙述告诉儿童读者中国春节的种种特色，帮助儿童读者了解春节的传统习俗，感受中国新年蕴含的温暖情怀。《邮递员叔叔的奇遇》作为一本典型的叙事绘本，叙事结构清晰完整，在绘本叙事的开局、进展、评价和结尾部分均充斥着大量的概念意义，分析此绘本中图文概念意义的创建以及两者意义建构中存在的跨符号/跨模态机制有助于揭示和阐明叙事绘本中图文关系，为系统阐释多模态叙事语篇图文相互关系提供新的分析视角。

（一）绘本语言文本概念意义的及物性分析

系统功能语言学区分语言所实现的三大元功能，分别是概念功能、人际功能和组篇功能。其中，概念功能是指人们通过语言“得以构建关于现实的心理图景，从而识解内在和外在世界的功能”。［8］(P170-172)在系统功能语法层面，及物系统是语言实现概念功能的重要维度，能够将人类关于世界的经验组织切分成一系列的小句过程类型，换言之，通过小句的过程类型表达“周围正在发生的事情、事物的属性以及事物发生的背景细节，诸如时间、地点、方式等等”。［9］(P86)人们使用语言将经验模式化，并将现实世界（包括内心世界和外在世界）切分成一个个模式化的过程类型。及物系统将经验划分为六个主要过程，即物质过程、心理过程、关系过程、言语过程、行为过程和存在过程。每一个小句过程类型能反映出人类经验的某一个特定方面，其中物质过程强调动作的过程，“这个过程本身一般由动态动词来表示，动作者和动作的目标一般由名词或代词来表示”。［10］(P75)心理过程表达作为经验的感知者对物质世界现象的认知和识解。关系过程强调对客观事物的描述和识别，又可次分为归属和识别两类关系，前者对客观实体的属性、性质等进行阐释；后者凸显对实体和实体间关系的限定。言语过程一般是指通过讲话言说达到信息交互作用的过程，参与者为说话者、受话者和言语内容。行为过程强调主体有意识的生理及心理行为，一般只涉及一个参与者。而存在过程聚焦物质世界实体存在的状态。

在多模态叙事绘本中，语言文本承载了构建和呈现故事世界的重要任务，需要通过大量的概念意义的表征推动叙事发展以及表达人物和人物之间关系。对《邮递员叔叔的奇遇》的语言文本进行及物性分析可以勾勒出语言系统构建的概念意义，语言语篇中的小句类型过程划分如表1。

表1 《邮递员叔叔的奇遇》中语言系统及物性分析

通过上述分析发现，该多模态绘本语言符号系统使用的最多小句类型为行动过程，主要包括物质过程和行为过程，两者的使用超过整个语言语篇小句使用的60%。这是由叙事绘本的叙事性决定的，这两种小句过程类型强调故事主要人物（邮递员和雪人）所采取的行为和动作，如，对邮递员的描述采用了大量的动词：送、推、走、骑、坐、拿开、打开等。这样的过程类型有益于推动叙事进展，让读者逐渐清楚故事世界、人物关系和叙事发展走向。在故事的开篇部分，语篇中使用了两个物质小句：“可是邮递员大关叔叔还得工作”和“他必须把今天到达的信件给村民们送过去”。这两个物质小句凸显了邮递员的在叙事中必须完成的行为动作以及其作为主角的叙事身份，导入了即将要开始的奇遇情节，从而建构了叙事的“指向部分”。在语言文本中，物质过程和行为过程的使用给予读者一种行为感和动作感，这样的小句过程突出动作的施为者，往往与故事中的主要参与者紧密相关，使读者得以进入叙事世界，持续关注事件的发展和人物的行动，并且做出反馈和猜测。在绘本语言文本中，除了行动过程能够模拟和建构叙事绘本中的故事现实，作者还应用了一系列关系过程来实现认同功能。小句的关系过程是强调“是”（be）的过程，为读者提供小句参与者及其属性的相关信息。例如，故事开局部分使用了两个关系小句“今天是大年三十”和“明天就是新年了”。这两个小句通过动词“是”达到连接小句中载体和属性之间的关系，提供故事发展的时间信息，充当了叙事发展的“背景”作用。

（二）多模态语篇概念意义的图文互补机制

多模态语篇中不同模态之间的关系是多模态话语研究的焦点问题。罗伊斯提出了符际互补理论，并研究探讨了基于页面的多模态语篇中不同符号系统之间的衔接关系，尤其是语言符号系统和图像符号系统之间的互补关系。在概念意义层面上，符际互补理论区分了图文两种符号信息的表征模式。基于系统功能语法，符际互补理论设置了一系列参数信息来表达语言符号系统中的概念意义和经验意义，分别为“过程类型”“参与者”“属性”和“环境”。［6］(P72-85)图像符号系统中信息表达的关键概念则为视觉信息元素，主要分为等同（图像参与者）、行动（行为动作）、属性（参与者的品质和特性）以及环境（呈现的语境）等。为了研究概念意义层面的符号间互补衔接关系，笔者选择包含动作的叙事图像作为分析对象，该图像位于绘本的第6页面（双页版面），语言文本内容左图为“送完最后一封信，大关叔叔准备回家了，他走到自行车旁，发现雪人坐到了前面，雪人指指后座，示意他坐上去”。右图为“哇！雪人骑自行车比开摩托车还快，大关叔叔伸出手，抱住了雪人的腰：哟，好冰哟”（下文均用左图、右图代表第6页面文本中的内容）。通过定位和挖掘语言元素和视觉信息元素所建立的语义联系能够更细致探讨概念意义的图文衔接机制。

绘本《邮递员叔叔的奇遇》第6页面中的视觉信息元素需要界定，这是由于视觉信息元素能够在很大程度上承载和表达作者/创作者通过一连串视觉手段来实现的语义属性，同时视觉信息元素构成了探索双模态文本语言方面的重要参考。视觉信息元素主要包括：（1）参与者视觉信息元素。参与者视觉信息主要涉及图像中的谁/什么是图像中的参与者以及它们和谁/什么存在交际互动。一般来说，视觉图像中最突出的参与者是通过他们面部表情和身体姿势的视觉表征明确地呈现给读者的。在这两张图像中，读者看到了两个主要的人物：雪人和邮递员，他们的面部表情都被清晰地描绘出来了。除了两个描述的人物(从故事叙述中推断出的主角)，视觉框架中还展示了两个相关的参与者：一辆自行车和一个挂在后座上的绿色邮袋。因而，在这一视觉图像中，参与者可识别为“大关叔叔”“雪人”“自行车”和“邮袋”。（2）行动视觉信息元素。行动视觉信息关注被描述的参与者和接受者（或对象）之间发生的动作和行为。在绘本第6页面左图中我们可以看到，雪人坐在自行车上，并邀请邮递员（从前面的图像推断）乘坐。绘本第6页面右图描述了雪人骑着自行车，邮递员则坐在后座。因此，该视觉图像中的行动视觉信息可梳理为“坐”和“骑”。（3）环境视觉信息元素。环境视觉信息是指视觉呈现的语境，是不同参与者之间动作发生的环境，主要充当背景说明的作用。在该视觉构架中，图像参与者以及动作发生的语境为雪天，而绘本第6页面左图采用了去语境化的视觉技巧将读者的注意力由环境背景转移到所描述的参与者身上。（4）属性视觉信息元素。作为视觉图像中信息元素表征的最后一个重要因素，属性信息是表达视觉框架中所描述的参与者的任何重要特征、属性或品质。在该双页图像版面中，环境背景被描绘为冬天的一个下雪的日子，雪人作为故事的主要人物在视觉框架中被突出，而这些背景信息都有利于读者推断关于“冷”的属性。视觉构图中的另一个属性是速度维度上的“快”的属性，这可以从骑着的自行车和视觉背景对比下相对较小的房屋和树木中推断出来。将这些视觉信息元素界定之后，笔者对双模态文本的概念意义符号衔接机制进行分析。通过分析得出，图文符号系统之间存在重复类衔接机制14处，如大关叔叔在图文模态中均有详细的符号表征；搭配类衔接机制为13处，除此之外还存在3例“整体—部分”关系以及1例反义类衔接机制。

通过研究发现，两个符号系统之间最显著的衔接关系是通过重复（共14处）和搭配（共13处）来实现的。在语义维度上，语言符号系统中存在大量的词汇项与图像符号系统中的视觉信息元素所表征的经验意义关联。这两种模态中人物刻画的重复衔接机制可使读者关心故事中的主要人物和他们之间发生的奇遇，从而起到元叙事作用，促使读者聚焦故事情节。同时，绘本第6页面左图中作者采用了接触聚焦的视觉人际技巧使读者与雪人产生眼神接触，促使读者与故事人物形成互动，不但强化了元叙事的本质，也对语言文本中的小句“发现雪人坐到了前面”进行了补充和支撑。根据图像的视觉表征，作为主人公的邮递员并没有出现在左图中，这与语言文本并不对应。但有经验的读者可以很容易地从雪人的身体动作（如指向后座）和面部表情（如微笑）推断出他是在邀请邮递员坐在自行车后座，以便载他一程。因此，它建立了语言文本和视觉文本之间的跨符号衔接关系。同样，符号系统间的重复机制也被应用于阐释视觉框架中两个参与者之间发生的活动。语言文本中一系列动词被反复使用，这些动词被用于识别和照应活动视觉信息，提醒读者持续关注视觉构图中发生在参与者之间的行为动作以及识解这些动作的顺序关系。此外，绘本第6页面左图中雪人向邮递员发出邀请，激发读者关于邮递员是否接受邀请的叙事期望。而紧接着的视图描画了邮递员坐在自行车后座的场景。这样的视觉技巧满足了视觉叙事框架中实现化的顺序间事件关系，随着叙事的进展，该视觉选项又进一步增强了视觉图像和语言文本之间的跨符号衔接关系，以便为读者理解故事提供一个更好的视角。

视觉构图中使用较多的另一种符际互补机制为搭配机制。在语言文本中出现的首个小句“送完最后一封信”与视觉图像中的邮袋视觉信息构成了符号间的搭配关系，突出了邮递员即将开始的春节奇遇。雪人是该构图中的另一个主要参与者，他的出现与“下雪天”的环境设置以及“冷”的属性视觉信息元素密切相关。同时，在环境设置描述中选择去语境化的视觉选项将读者的注意力从关注背景信息转化到聚焦雪人的外观，强化了雪人的属性（在此实例中为“冷”），并激发了读者对雪人的评价：虽然雪人的身体很冷，但他乐于助人，内心炙热，根据研究分析可以发现，概念意义上的图文衔接机制主要包括重复、同义、部分—整体指代关系和搭配等机制。其中，图文重复和搭配机制是实现两个系统概念意义构建和互补最为有效、使用最频繁的衔接机制。

三、多模态语篇实例化：图文概念意义投入研究

系统功能语言学中实例化研究旨在探讨语言系统和具体实例的语篇之间关系。韩礼德经常使用气候和天气之间关系的隐喻来解释实例化研究，天气是气候系统中的一个个具体实例，而气候是作为实例天气的整体概括。随着实例化研究的发展，研究者逐渐将重点从语言语篇实例化过程转移到多符号/多模态语篇的实例化过程，并探讨不同符号系统在语篇生成和意义创建过程中实现的意义潜势总量。采用视觉叙事框架中的模态间“投入”分析框架对绘本《邮递员叔叔的奇遇》第6页（双版面）进行图文实例化分析有助于深入探索图文系统语义赋值的异同之处。投入分析是指语篇实例化过程中语义系统所构建的意义总量，多模态语篇则要考查语篇意义潜势实例化中表达和创建意义的所有语义系统，如语言、图像、声音和空间系统等。模态间的投入分析框架聚焦三个系统，即行动系统、角色系统和环境系统。行动系统包含图文两种符号系统所实现的行动意义、认知意义和事件间关系等。角色系统则涉及图文符号系统如何构建参与者属性、参与者形象表征和出现方式以及参与者之间的关系等。环境系统考量语篇中图文模态中事件发生的背景和环境信息以及环境之间的关系（如环境背景的转换或维持）。笔者以投入分析框架为理论基础，对多模态叙事语篇共同实例化进行了分析，表2为两种符号系统概念意义投入的图式表征。

表2 图文系统概念意义投入分析

首先，从行动系统来看，视觉概念意义的构建主要通过一系列不同的动作描绘来实现，如在绘本第6页面左图中，雪人坐在自行车上发出邀请，这个视觉意义能够通过他的手的位置和指向以及未表征的凝视矢量才得以识别。尽管设定的接收者（邮递员）在视觉图像中没有出现，读者可以依据动作的矢量（如凝视的方向）做出推断，他正在邀请某人坐在自行车的后座。而在绘本第6页面右图中，读者可以看到雪人正在骑自行车，邮递员坐在后座上，他的胳膊搂着雪人的腰。面向读者相邻的两幅图像表明两个行为序列之间存在一种时间上的事件之间关系，亦可被识别为一种完成的关系。活动顺序层面，读者对下一个动作发生的期望在连续的图像中也得以实现。两个视觉页面中差异的动作表达增强了两个主角之间的紧密联系，迎合了读者们对故事的期待，凸显了他们在奇遇中的亲密关系。就语言系统而言，与活动相关的概念意义的阐释是通过多种类型小句过程实现的，例如，一些动词被用于识别故事中发生的活动，这些动词和小句完成了语言系统概念意义的投入，告诉读者此刻发生了什么。在此层面上，语言系统投入的概念意义多于图像系统。邮递员所采取的行动（如走向自行车，看着一个雪人坐在自行车上）的语言表达在图像系统中没有相应的视觉补充表达，读者必须从身体动作和目光向量来推断这种概念意义。同理，在视觉意义表征中，语言文本并未描述不同动作之间的扩展关系，这些动作间的关系是通过视觉传达和诠释的。

其次，构建概念意义的角色系统中，邮递员和雪人都被完整地描绘出来，后者在故事的下一个事件中重复出现，这些能让儿童读者最大程度地识别故事的主角。读者可以根据人物的服装属性、穿着的颜色、大小等推断出更多的人物信息（如年龄、种族、职业甚至社会阶层）。对中国读者来说，通过绿色的制服和帽子以及绿色的邮袋，很容易推断出主角的职业。值得注意的是，对邮递员和雪人的描绘采用了紧密相邻的视觉布局，突出人物之间的友好关系，为接下来的叙述奠定基础。

最后，就环境设定系统而言，视觉构成的绘本第6页面左图选取了去语境化的视觉表达，通过删除背景设置以突出所描述的参与者。右图中视觉重新语境化技巧的选用具有将读者带入故事世界并参与叙事事件的功能。故事环境背景的快速切换发挥了管理读者注意力的作用，投入了不同程度的概念意义。与视觉图像相比，语言文本中存在着概念意义投入差异。而语言文本对视觉参与者的人物形象描述基本没有任何提及，仅有一个关于雪人属性的隐性心理投射小句“哟，好冰哦”。这个投射小句是邮递员在拥抱雪人时，为了分享他对雪人温暖的感觉而发出的。而在视觉图像中，读者几乎不可能推断出这种心理投射，只能从邮递员的凝视矢量及对雪人的经验认知中推断出这种属性。同样，图像系统中环境间关系在语言系统中没有相同的阐述，读者只能从视觉图像中推断出一系列不同动作之间的衔接关系以及在两种不同语境下动作的衔接程度。

因此，就视觉系统和语言系统在概念意义层面上的投入而言，我们可以得出以下结论：在属性、人物表征、关系、事件间关系和环境间关系等方面，图像投入的概念意义比语言文本所投入的概念意义更多；同时，语言文本也投入了一定程度的概念意义，而这些在视觉文本中是无法表达的（如在行动和环境方面）。语言符号系统和视觉符号系统在概念意义投入层面上存在分歧，呈现出不均匀和差异化的语义赋值。

四、结语

探讨多模态叙事语篇中图文符号系统概念意义创建，采用功能语言学相关概念对多模态绘本《邮递员叔叔的奇遇》中语言系统进行及物性分析，结合符际互补理论挖掘图文系统间的跨符号互补机制，是图文关系研究的一次积极话语实践。本研究发现，图文系统存在最为突出的概念意义衔接机制为重复机制和搭配机制。这是由儿童绘本这一特殊多模态语篇属性及其预期读者所决定的，通过词汇项目/标签与视觉信息表征的概念意义形成重复，达到提醒读者故事世界和人物的叙事功能。同时结合语篇实例化的分析方法，探索图文系统各自的语义赋值，是图文互补研究的本土化尝试，期望为探索多模态叙事话语提供新的视角和方法，为多模态作品创作、解读和阐释提供有益的启示。

注释：

①本文所选绘本《邮递员叔叔的奇遇》，作者郑春华，少年儿童出版社2013年版。