摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。

关键词:多模态话语分析;新媒介时代;社会符号学

中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02

一、多模态话语分析理论

朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模态分析理论。

朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。

二、研究现状

辛志英(2008)大致有:社会符号学流派,包括OToole、Kress、Leeuwen、Lemke、OHalloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。

社会符号学认为语言以外的其他符号系统也是意义的源泉,认为多模态话语本身也具有系统性,多功能性,即同时具有概念功能、人际功能和语篇功能;认为语境因素和多模态话语的意义之间有着密不可分的联系。Hodge&Kress(1978)《社会符号学》,以Halliday(1978/1994)的系统功能语言学为基础,把对语言社会符号性的研究扩展到二维平面空间如图像:Kress & van Leeuwen(1996)的《阅读图像》主要分析图像等符号在语篇中的作用,重点探讨图像中的人物、地点和事物是如何组成视觉模式,实现其再现意义、互动意义和构图意义。OToole(1994)主要从级阶的角度来分析图象。Lemke(1998)探讨了科学文章中图表与文字的关系;OHalloran(1999)探讨了数学公式与语言之间的转换;Royce(1998)探讨了广告中图像与文字的关系。Martinec&Salway(2005)、Len(2006)则详细地探讨了新旧媒体中的图文二者关系。二维平面中的图文关系:胡壮麟(2005)在PPT;成文&田海龙(2007)对2003年发布的SARS新闻病例报告进行批评性分析;丁建新(2007)探讨了童话插图中的情态意义;王红阳(2007)探讨诗歌中排版的问题。田璐&刘泽权(2008)对上海世博会会徽进行分析。程春松(2008)对电影海报的进行多模态话语解读。广告:励松青(2005)、莫少斌(2006),王红阳(2007)、胡丹(2007)探讨了纸质广告中多模态话语,主要是画面与文字的互动。韦琴红(2008)探讨了多模态媒体语篇。电影:李妙晴(2007,2008)探讨了电影中静态画面及动态画面的多模态意义,从主题类型、结构、场景、人物、视角、片名和海报如何进行多模态互动。李战子&向平(2007)着重分析《一个馒头引发的血案》flash的类型步骤。介绍及综述性文章:胡壮麟(2007)论述了多模态与计算机符号学的关系;朱永生(2007)论述4个问题:多模态话语的产生、定义、性质和理论基础、内容、方法和意义。

声音、音乐(van Leeuwen,1991,1999))分析了话语声音、音乐、音响之间的关系。三维空间中,身体动作(Martinec,1998)和戏剧空间设计(Martin&Stenglin,1997,2006)。在教学上,Lemke(1990)、Jewitt&Kress(2003)、Jewitt(2006)研究了儿童习得和多模态话语习得。1996年,来自美国、英国和澳大利亚的十多名学者来到美国,共同商讨新形势下的教育改革,新伦敦小组(New London Group)是多元读写研究的开端,认为随着信息技术的发展,当今世界发生了两个变化:第一个变化是文化多元化趋势,第二个变化是新型交际技术的发展,文字表达意义的做法正在与视觉、听觉、手势等彼此结合。多元读写教学法设计来帮助学生能适应变化,迎接语言文化多元化、交际技术样化挑战,应该培养学生的多模态识读能力(multiliteracy)(Cope and Kalantzis,2000 p.9),认为包括以下四方面:1.实地操练;2.明确指导;3.批评性框定;4.操练。曾蕾(2006)在三维空间中身体动作——国际会议演讲语篇等领域进行了多模态分析。

Baldry&Thibault(2006)的多模态记录,Bateman(2004)等建立多模态语料库管理平台MCA(Multimodal Corpus Authoring)。顾曰国建立了汉语现场即席话语多模态语料库。王立非&文艳艳(2008)主要介绍多模态分析软件ELAN以及该软件的主要功能,并举例说明如何利用ELAN开展应用语言学研究,并指出多模态研究方法应用的价值和重要意义。在应用上,有探讨语篇与技术的关系(LeVine&Scollon,2004)和应用文集(OHalloran,2004)。

电子语篇中的图文关系叶起昌(2005、2006)),探讨了传统符号学对图文关系的总结:并提出在后印刷时代话语、超文本中图像与文字的关系。曾蕾&梁红艳(2007),认为多语式表现超链接及其内容。李妙晴(2007)探讨了中国同学录电子语篇的特点。

教学:陈瑜敏&秦小怡,(2007,2008)考察教育语境下介入意义在多模式语篇中的图文体现形式,顾曰国(2007)探讨了多模态在网络教学中的应用;曾方本(2008)探讨了多模态与技术的关系。张德禄(2009)提出一个多模态话语分析综合理论框架探索。

由此可见,多模态话语分析在中国的研究主要集中在视觉模态和文字模态相结合的二维平面研究,对于视觉模态+声音模态+文字的多模态语篇、空间模态的语篇较少涉及,在教学上和英语语料库中更是基本处于萌芽状态。

三、结论

朱永生(2007)也展望在未来的发展重点:第一个趋势是对多模态互补作用的更加关注,第二个趋势如从二维话语分析走向三维话语分析,从静态研究走向动态研究等。Simpson(2003,转引胡壮麟,2007),提出如下选题方向:多模态化和新的媒体,在学术和教育情境下的多模态化的应用,多模态化与识读实践,多模态化语料库的建立,多模态化和类型学,多模态化话语分析及其理论问题。多模态化话语分析包括互联网在话语分析中的作用,社会研究中的多模态话语分析,教育语境下的多模态话语分析,工作场所的多模态话语分析(Levine & Scollon2004)。

将来要既着手分析视觉模态、文字模态的互动,也研究视觉模态、声音模态、文字模态的互动,还开展研究音乐模态与文字模态的结合,这是对多模态话语分析在国内尚未对声音模态研究零的突破;对网络时代下,多媒体情况下自主学习及与课堂教学的结合作了详细的分析,分析了视觉模态、声音模态、文字模态、动作和手势等多模态的特性及互动。可见涉及面比之前研究更广,更加复杂及走向动态研究。将对建筑、城市规划、展厅、大型表演等作多模态话语分析。对更为复杂的多模态共存的语篇如电影、音乐、建筑进行研究,因为从事多模态话语分析的绝大多数是语言学者,而多模态话语分析是跨学科的。多模态话语分析理论的哲学基础、多模态话语语料库、多模态系统功能分析软件、超模态、在动作、手势中的体现等都有待研究。

参考文献:

[1]Baldry,A.P.and Thibault,P.J.Multimodal Transcription and Text[M].London:Equinox.2006.

[2]Cope,B.and Kalantzis,C(editors for the New London Group)(2000)Multiliteracies:Literacy Learning and the Design of Social Futures London:Routledge.

[3]Hodge,B.and Kress,G.Social Semiotic[M]s.Cambridge:Polity.(1988).

[4]Jewitt&Kress,Multimodal Literacy[M],Newyork:Perter Lang Publishing,2003.

[5]Jewitt,Carey,Technology,Literacy and learning[M],Newyork:Routledge,2006.

[6]Kress,Gunther & T van Leeuwen.Reading Images:the Grammar of Visual Design[M].London And Newyork:Routledge.1996.40-1.

[7]Kress,G.and Van Leeuwen,T.Multimodal Discourse[M].London:Arnold.(2001).

[8]OHalloran,K.(ed.),Multimodal Discourse Analysis[M].London:Continuum,2004.

[9]OToole,M.The Language of Displayed Ar[M]t.Leicester:Leicester University Press.(1994).

[10]Van Leeuwen,T.and Jewitt,C.(eds)Handbook of Visual Analysis[M].London:Sage.(2000).

[11]顾曰国.多媒体、多模态学习剖析[J].外语电化教学,2007,(4).

[12]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007,(1).

[13]李战子.多模态话语的社会符号学分析[J].外语研究,2003,(5):1-8.

[14]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007,(5).

[15]朱永生.多元读写能力研究及其对我国教学改革的启示[J].外语研究,2008,(4).

[16]辛志英.话语分析的新发展———多模态话语分析[J].社会科学辑刊,2008,(5).

[17]张德禄.多模态话语分析综合理论框架探索[J].中国外语,2009,(1).

(责任编辑/石银)