刘巧丽

摘要：多模态话语分析是将语言与其他符号资源结合起来，共同构建语篇的意义。除语言之外，它包括图像、声音、颜色、动漫等其他表现形式。基于视觉社会符号学分析理论基础，以《妈妈不懂我的心》这本风靡韩国的畅销书为例，通过多模态话语分析的方法来分析汉语儿童图画故事书。故事作者与绘图者的巧妙配合，使故事更易于儿童阅读并且吸引其注意力。

关键词：多模态话语分析；视觉社会符号学；汉语儿童图画故事书

中图分类号：H08文献标志码：A文章编号：10017836（2016）04010302

引言

多模态话语（multimodal discourse）是运用人体的多种感官，通过语言、图像、声音等多种手段以及符号资源进行交际的现象。学习语言儿童从一生下来就会了，在此过程中他们想表达自己的情感及想法都是通过文字、图像、语音等方式。因为近年来图像在人类社会中的广泛应用，在很多方面都大量地使用，尤其是在媒体、教育还有儿童文学中，因此研究多模式话语，已经引起了我们的重视，应将其放在重中之重的地位。儿童图画故事书是一种典型的多模态语篇（Multimodal Discourse），可作为分析研究多模态话语的重要资源。多模态语篇是同时使用多种交流模态（如语音、图像、文字、气味等）进行信息传递的语篇。胡壮麟指出，由于人类已进入社会符号学多模态化的新世纪，因此对多模态识读能力的培养应引起重视[1]。本文是基于视觉社会符号学分析理论，对小学低年级图画故事书的多模态话语分析，来解读故事书中的深刻含义，最终实现图画书对儿童语言学习的合理性与可行性。

一、多模态话语的视觉社会符号学分析方法

多模态话语分析过程是一种整合性的过程，目的是将语言与非语言资源整合起来，共同构建意义的一种分析方法。而在多模态话语分析中，视觉社会符号学作为一个重要分支，强调并突出了多模态话语分析对话语分析所起到的重大意义。

1多模态话语分析

多模态话语分析是上世纪末新兴的学科，体现了该学科不可估量的发展前景。多模态作为一种新的交际技术，逐渐取代了单模态这种单一的交际模式。同时，也为语言学界话语分析提供了新的理论基础与研究视角。对语言交际产生了很大的实践意义。人们在日常的社会活动中，总是运用多种符号资源进行意义建构。多模态语篇常作为多模态话语的研究内容。Scollon & Levine认为多模态即是指交际时所使用的多种模式。从社会语言学的角度来看，像语言、颜色、味道、图像等方面，这些符号资源共同构建了多模态语篇的意义。曾蕾则有不同的观点，她认为，多模态语篇就是那种不光只有文字语言符号，而且还含有多种符号的语篇。Kress和van Leeuwen则认为多模态语篇的多模态性是现代社会人类在交际过程中使用的各种语篇的一个重要特性。李战子认为，多模式（multimodal）不仅有文本元素，还应该有其他元素，比如说图像或图表的复合话语，或者说它应该是一种文本，这种文本是通过两种或两种以上的符号编码来实现的。Lim认为对语篇在表现、内涵和语境等三个方面进行识读的分析过程即是多模态话语分析。本文认为，多模态话语分析是通过对符号资源的综合运用，最终达到构建语篇意义的目的。

2视觉社会符号学

Kress和Leeuwen基于Halliday系统功能语言学，创建了社会符号学角度的多模态话语分析。也就是说，社会符号学是以Halliday系统功能语言学为研究基础的。Halliday系统功能语法对英语语言进行了分析，Halliday认为语言作为一种社会符号，具有表征客观世界和内心世界的概念、体现语言使用者的交际参与和交际角色关系的人际关系、以及组织成语篇等三大功能，这是系统功能语法的核心理念。比较早的采用社会符号学方法分析多模态话语的语言学家当属O.Toole和Kress等。他们对多模态话语的分析都基于Halliday系统功能语言学的社会符号学理论。基于以上的理论，O.Toole和Kress等人认为，图像也可看作一种社会符号，因此可用Halliday分析语言的社会符号学的方法来进行分析。由此，他们提出了视觉社会符号学分析。因此该流派的主要观点是语言和视觉交际同时体现并构成文化的意义系统，但这两者独自以其独特的形式，相互协作体现功能。这一批学者主要研究如何将功能语法进行扩展，延伸到包括视觉模态和空间物体等在内的多模态语篇。

二、对《妈妈不懂我的心》的多模态话语分析

儿童图画故事书最大的特点就是图画。通过图画与文字的完美结合，达到吸引儿童眼球的目的。根据Kress的多模态话语分析的视觉符号分析方法，本文将多模态话语分析用在了《妈妈不懂我的心》，这本在韩国卖得火热的图画故事书上。该故事书中共含有图片46张，其中处于双开页面上的有21张，占全部图片的45.64%；处于单开页上的图画有25张，占全部图片的54.35%。处于双开页面上的图画中有10张是整页图画，它们没有框架也不含文字的，剩余的页面中，图画就只占其中一部分了。而随着故事情节发展不断变化，书中图画占据页面的大小也是跟着不断变化的。第一部分讲述了主人公小豆豆是一个爱发脾气、不听大人话的孩子；第二部分讲述的是小豆豆离开家之后，与八角石在一起的经历，以及在森林里迷路的场景；第三部分讲述的是小豆豆因为看到八角石身上的毛病，觉得自己做得很不好，反思的过程，最后回到家中做一个乖孩子。第一部分图画占据的页面较小，慢慢扩延到半页，第二部分小豆豆在森林里无助时，图画达到四分之三页面，甚至占据了双开页面。慢慢减少图画的占据篇幅，最后图画只占据页面的五分之一甚至更小，突出的是文字的力量，将故事的主题凸现出来，完成了小豆豆对家的身体和心灵的回归，做一个听话懂事的乖孩子。

1再现意义

再现意义在这本图画故事书中所体现出来的，就是通过图画中的参与者包括图画中的人物、事物和场景等，将其中的内容表现出来。小豆豆是这本故事书中的主人公，他身穿黄白条的T恤，而文章中的大背景是森林中那种阴暗基调，它们形成了鲜明的对比，凸出了主人公小豆豆。该故事书中其他的参与者就是森林里的植物和动物，它们出现在故事的中间。虽然它们把大部分的页面占据了，并且区域数量众多，但是故事发展的第三部分时小豆豆回到了家里后逐渐占据了画面的主要区域。Kress和Leeuwen认为，图画中第一参与者应当是其中的人物，而第二参与者则是图画中其他的东西。客厅、森林和我是该故事图画中的三种背景，其中客厅和我象征着家，森林则是情节发展的高潮以及转节点的象征。

2人际意义

Kress和Leeuwen的视觉符号的社会符号学分析方法认为，视觉图像中观看者和参与者之间通过目光的接触这种显性的表现方式体现出联系。根据图像观看者与图像中的参与者之间有无直接的视线接触，将接触分为提供（offer）和索取（demand）这两种关系。如果目光接触没有联系在图像的观看者与参与者之间，那么就表明人际关系不存在在他们之间，提供类图像就是说的这种图像；反之，如果目光接触有联系在图像的观看者与参与者之间，就表明图像中的参与者向观看者有所索求，如信息、意见、评论等。图像中的观看者就像是标本展览中的欣赏者，而图像中的参与者就像是标本，是标本展览中的能让观看者欣赏或娱乐的那种[2]。

合成意义是指由图像内各参与者以各种形式进行组织所带来的意义。在图像中，图片位置可认为具有合成意义。本文所研究的对象中，不同的合成意义体现在位置的元素中。在双页面中页面的左侧表示已知信息、新信息；人物的不同的大小以及框架的使用方式被放置页面的右侧，以此来产生不同的合成意义。本文所研究的故事书中，随着情节的发展变化，小豆豆在页面中的位置也随之改变：当小豆豆离开家时，他一直处于页面的右方，表示其新的旅程的开始；但是到达森林，小豆豆则占据了页面的左方，表示小豆豆在接触新的事物；当小豆豆开始想家的时候，他转移到页面右边的位置，面部表情非常忧伤，表示新的信息出现。在该故事中，通过对主人公小豆豆在页面中位置的变化，来体现故事情节的跌宕起伏，使故事的发展更加具有吸引力。

结语

由于我们生活在一个多模态的社会中，所以几乎所有意义的构建是需要很多符号资源的帮助的。当然，儿童故事书也不例外，作为一种有独特读者群体的文体类型，也借助多模态这种话语分析方法来达到吸引小读者们的目的。本文就是基于多模态话语的视觉社会符号学分析方法对《妈妈不懂我的心》这个儿童故事书进行了多模态话语分析。多模态语篇分析通常能够使读者更深层地识别图像以及文字的含义。利用这种视觉图像，达到吸引读者的目的，使得故事情节发展更为生动。

参考文献：

[1]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007，（1）：1—10.

[2]胡明霞，张丽平.英文儿童图画故事书的多模态话语分析——以Where the wild things are为例[J].外语艺术教育研究，2010，（1）：9—13.

（责任编辑：刘东旭）