赵星植

（四川大学 外国语学院，四川 成都 610065）

社会符号学（socialsemiotics或sociosemiotics），顾名思义，是指探究社会文化语境中的符号表意与互动的学科。它既关心社会与文化对符号表意的影响，也关注符号表意对社会意识形态建构的作用。因此，“社会”一词在这里作广义理解，即社会符号学关注符号文本与文本外部现实世界的相互关系。因此，该学科所覆盖的领域非常广，也较难有清晰的定义和学科边界。正如现任国际符号学会主席、《社会符号学》（Social Semiotics）期刊主编保罗·科布利（Paul Cobley）所言，社会符号学“是不加定义的”，因为它是一个伞形术语，关注符号在“各种社会意义塑造活动中所采取的具体策略”［1］132。

社会符号学在当代发展的一个主要分支，便是学界所公认的社会符号学英-澳学派（The British-Australian School of Social Semiotics）［1］134。在 方法论上，该学派主要以澳大利亚系统功能语言学家韩礼德（M.K.Halliday）的社会语言学理论为基础，并融合了巴尔特的传媒符号学理论、福柯的话语与权力理论，以及其他传播学研究中的批判理论模式。该学派在当今已产生了极大的影响力，尤其是开辟了批评性话语分析（criticaldiscourseanalysis）这一领域，让其成为符号学分析的一个重要理论工具。这一方法论发展到现在，显然已经突破了地域或学派的限制，成为社会符号学研究中的最基本范式。

一、作为社会符号的语言：韩礼德的影响

“社会符号学”之所以如此命名，缘于该学派的奠基人、澳大利亚系统功能语言学家韩礼德（M.A.K Halliday）的名著《作为社会符号的语言：从社会角度诠释语言与意义》（Language as social semiot⁃ic：The social interpretation of language and mean⁃ing，1978）。该书作为韩礼德系统功能语言学的开山之作，开篇便承认“语言是社会符号（Language as social semiotic）”［2］1，是社会文化的产物和组成部分，是在一定的社会文化背景中表达一定意义的符号系统。所以，我们“要在社会语境中解释语言，在此过程中文化本身用符号学术语来说，被解释为一个信息系统”，“人们在他们日常的语言交换过程中，实现社会结构，肯定自己的地位和角色，建立和传递共享的价值系统和知识系统”［2］108-110。

这表明语言既表达意义，也积极将社会结构和系统符号化。语言的这种双重功能使意义的表达方式多种多样，“从后院的闲言碎语到叙述体小说到史诗般的诗歌”［2］110。与此同时，社会结构（包含语境、家庭等级以及社会等级三种）决定了话语的意义，同时这些结构又通过对话语意义的控制来稳定相应的社会关系。这为后来分析讨论话语与社会语境、社会结构的相互关系提供了最重要的理论框架［3］69。

韩礼德认为对语言符号的研究不应当停留在索绪尔意义上的语言层面，而应当扩展到具体社会语境中的语篇（text）或话语（discourse）［2］1-2中。他同样在《作为社会符号的语言》一书中提出，“话语分析是一种社会分析方法，揭示人类如何理解彼此的话语”［2］5，并认为话语及其意义形成均受到语境、系统、语域、社会结构、符码规则等影响。这些社会因素的影响使得话语或符号文本具有了三大元功能，即概念功能、交际功能以及语篇功能。因此，我们可以在特定的社会语境下，通过分析话语功能来推导话语的语义结构，这也就是韩礼德著名的系统功能语言学理论。韩礼德的社会符号学理论开启以“话语”或“言语”为中心的分析模式，其逐渐成为社会符号学英-澳学派的最主要分析工具。因此，社会符号学方法在许多场合又被视为是“话语分析法”（discursiveanalysis），这是因为该学派对话语的研究兴趣由来已久。所谓“话语”（dis⁃course），从狭义上理解，即为大于句子或从句的语言单位，如口头对话或书面语篇。社会符号学学者使用“话语”，而非“语言”，主要是强调语言在社会语境下的具体使用，即“自然发生的”话语。如哈里斯所述，“语言不是在零散的词或句子中发生的，而是在连贯的话语中”［4］。再如梵·迪克所言，话语分析是一种社会分析方法，它把话语视为一种过程中的语言，揭示人类如何理解彼此的话语［5］83-101。

关于话语与语言，索绪尔在《语言学教程》中已经用“语言”和“言语”这两个术语区分得非常清楚。索绪尔称语言系统规则为“语言”（langue），而语言系统的任何一次出现形态即为“言语”（parole）。索绪尔的贡献在于从系统和结构层面，发展了一套共时语言学体系。这套体系成为现代符号学的雏形，它聚焦于语言而排斥言语的基本原则，其基本取向无疑是“反话语的”。

而对索绪尔二元理论的反驳，恰恰成为了社会符号学英-澳学派学者的理论出发点。社会符号学英-澳学派的后继者、英国符号学家冈瑟·克雷斯（Guther Kresss）在上述这一区分性问题上进行了根本性阐述。他认为话语是由“处于社会中的说话者和作者产生的”［6］260，但话语产生者并不总是平等的，因此他提倡话语分析应当分析话语与社会权力的关系，拓展话语分析的社会批评维度。

这一重话语轻语言、重历时轻共识的研究范式，恰恰与索绪尔模式相反。因此，社会符号学话语研究的兴起，从描写转向阐释，从文本转向分析使用，对整个语言研究来说，无疑是意义深远的“话语转向”（discursive turn）。应当指出，话语转向不仅是韩礼德一个人的贡献，更不是一个流派独自努力的结果，它与整个语言学、符号学的符用学转向紧密相关。特别是奥斯汀（J.L.Austin）、塞尔（J.R.Searle）等人在20世纪六七十年代所开启的“言语行为”（Speech Act）的理论与实践，以及利奇（G.N.Leech）和格莱斯（H.P.Grice）等人所开启的基于言语行为的语用学分析，也产生了巨大的影响。关注符号使用中的意义，成为20世纪中叶以后整个人文学科的基本任务。

社会符号学英-澳学派便是在上述学术语境中发展起来的。该学派的后继者有英国学者克雷斯、霍奇，以及在澳大利亚科技大学工作的荷兰籍学者梵·勒文等。他们在韩礼德理论基础上融合广义符号学理论，“以索绪尔为反导向”，以被结构主义符号学所悬置讨论的部分为研究出发点，继续推进社会符号学理论的发展。

二、从语言到话语分析：霍奇与克雷斯

英国学者霍奇与克雷斯在韩礼德的影响下，把研究对象从语言推进到话语层面，开启了话语分析的新阶段。两位学者指出：从学科定位来说，社会符号学主要研究人类所有的符号活动与符号体［6］260。他们认为这些符号活动是一种社会现象，在条件和内容方面具有本质的社会属性，因而和社会意义相关。而社会意义就是通过整个系统、系列的符号形式，通过符号文本和符号实践，在人类历史所有阶段的所有社会中建构起来。因此，社会符号学的基本任务就是探究在这些社会符号活动的过程中，各类符号使用者所使用的所有符号形式中的意义生产和再生产、接受和传播的操作与效果。

对于社会符号系统的构成要素，该学派认为主要有以下几个。（1）符号现象。它具有社会和指涉两个维度，因此必须用模仿层和社会活动层进行描述。（2）模仿层。它是指可能指涉对象的某种/某些现实样式。（3）符号活动层。它表示把生产者和接受者以及能指/所指连接成为一种重要关系的某种/某些符号事件。符号活动层是模仿层所需要的语境，而模仿层则是符号活动层的组成部分。（4）信息（message）。它是能够拥有独立物质存在的意义最小单位。（5）符号。信息必须拥有一种物质性存在，其中至少有两个意义单位，即符号。（6）信息体系的结构。其与指涉对象的结构通过符码（code）得以联系。（7）元符号。它表示符号活动层面的不同方面，它的符号活动条件决定了信息的存在方式。

所以，社会符号学的讨论，也必然会包含以下几个相互对应的重要部分：（1）符号学内部固有的变化、社会和政治；（2）伴随口头语言和其他符号学体系；（3）言语、言说行为，以及其他符码形式进行的具体表意实践；（4）符号与话语历时性、时间、历史、过程变化；（5）表意实践与操作，表意体系与指涉结构直接的相互交流；（6）所指结构；（7）符号的物质性［6］18。

基于以上探讨，社会符号学主要就是分析上述符号系统中各个构成要素之间的连接、融合、交流及其冲突方式。为此，该学派又提出一系列工具，对社会符号系统及其构成进行描述与分析。

（1）符号构成部分的关系分析。该学派认为符号结构可以用连贯（融合/分离，相同/不同）和秩序（水平和垂直）关系进行描述。两种重要的秩序分别是从属和并列。由于不同的结构层次需要进行不同的描述，因此他们又将社会符号结构分为宏观结构、中观结构和微观结构。这是社会符号学整体的分析架构及其切入方式。

（2）文本。社会符号学将文本界定为被赋予符号活动整体性的一连串的信息。文本常常包含由不止一个生产者所发出的信息，也不止使用一种符号，同时还包含模仿内容和一系列元符号活动，它们共同投射出文本的一种现实和一种符号活动状况。因此，社会符号学对文本的分析，主要从符码构成、模仿以及元符号活动等方面展开。

（3）话语。他们认为话语是分析符号活动层面的重要工具，话语具体是指符号活动操作方式而不是其产品（即文本）。话语通过文本得以实现，并且与之不可分割。由于话语是任何文本的主要所指，因此在社会符号学中，文本的符号活动分析必须要遵从话语分析（discursive analysis）的相关原则。这是它与其他符号学范式的一个重要区别。

（4）模态。这是社会符号学的另一个关键分析工具。模态具体是指被符号所再现的内容与在现实世界中所指称之对象的关联程度。模态的高低决定着符号再现信息的效果与质量。因此，社会符号学认为可以通过模态标记法，对符号文本所显现出来的信息重要性程度进行评估。

通过上述基本概念与分析工具，该学派把符号意义的建构与传达视为一种操作方式。因此，意义的生产和再生产是在特定社会条件下，通过特定的物质形式和使用者达成的。对社会符号文本分析的本质目的，就是要找出建构这种文本意义的社会结构、社会力量、权力关系，以及其他复杂的意识形态操作关系，进而形成一种独特的符号学分析范式。

可以看出，相关学者承袭了韩礼德的社会符号学理论，强调符号以及话语实践所承担的不同功能。他们论著中对于社会结构、口头语言、符码、话语与话语结构的历时性讨论，皆是沿用韩礼德本人的论述，并且认为符号从属于各种社会理论，或者社会中的符号。也就是说，符号是个人、社会、符号系统和社会文化现实的综合体［2］147。

这一学派近年来把这种以话语为主导的社会符号学模式，进一步推进到非言语符号领域，例如图像、视频、音乐等，从而实现话语分析的“多模态转向”［7］。多模态这一术语，同样从韩礼德的系统功能语言学发展而来。以克雷斯和勒温等人为代表的学者们，认为话语作为被话语使用者所选出的社会符号学资源，从本质上说是多模态性的。它不仅是语言，还可以是视觉、听觉、姿态等其他非语言符号［8］。

换言之，其他非语言符号的多模态话语，在社会话语实践的具体活动过程中，通过组合、衔接、修辞等手段，同样承担着重要的社会功能［9］。在这些学者的带领下，社会符号学从单一模态（即言语符号）转向多模态话语分析。社会符号学则以广义符号学为基础，把话语作为符号资源，从多模态（mul⁃timodality）代替传统话语这一概念出发，拓展了话语分析的应用范围，成为话语分析突破对话分析模式，转向广义符号分析的重要突破口。

社会符号学英-澳学派所代表的，以多模态话语分析为研究手段的社会符号学，应当被视为当代话语分析的最新研究方向，是当代符号学发展的重要方向。新媒介技术手段的飞速发展，多样且融合的多媒体技术，是社会符号再现与交流的最主要方式。因此，话语分析要得以进一步推进，不得不依靠社会符号学乃至广义符号学所提供的诸如多模态社会话语分析、符号学资源分析等以非语言符号为对象的新模式与新方法。与此同时，话语分析作为当代符号学中的一个重要分支，它对符号表意实践与社群之间的关系，以及社群意识形态的关注，也将为符号学在当代的发展开拓新的局面。

三、从话语到多模态分析：梵·勒文

如前文所述，社会符号学英-澳学派在当代的新发展是从话语研究拓展到以非语言为中心的多模态研究，而引领这一潮流的是梵·勒文与克雷斯。两人于1996年出版专著《读图：视觉设计的语法》（Reading Images：The Grammar of visual design），这是最早进行的有关视觉传播的符号学研究。该书提出“框架”（framing）这一核心概念，探索视觉文本中模态、框架与意义构成之间的相互关系。此研究被视为“视觉符号学”（visual semiotics）的基础，也是二人后来建构“多模态符号学”的理论基础。

在研究了视觉符号学之后，两人开始着手建构多模态符号学理论，并出版了《多模态话语：当今传播中的模态与媒介》（Multimodal Discourse–The Modes and Media of Contemporary Communication，2001），着手从单一的视觉模态研究，转向到包含多种模态的文本研究，同时探讨各种模态意义建构与承载媒介之间的相互关系［10］。随后，梵·勒文出版了《社会符号学引论》（Introducing Social Semiotics，2005），克雷斯出版了《多模态：当今传播的社会符号学》（Multimodality：A Social Semiotic Approach to Contemporary Communication，2010）等专著，对模态间衔接与意义建构、模态与多媒介文本表意等关键问题进行深入分析，进一步奠定了该学派在多模态研究方面的理论与方法论体系［8］［9］。

关于多模态转向的原因，克雷斯与梵·勒文也曾做了较为清楚的说明。多模态的转向与当代文化，特别是与数字化时代的发展紧密相关。在数字化时代之前，社会文化以“单模态”（monomodality）为主，无论是文学、艺术，还是其他领域均呈现出这一特征。例如，在小说、工作报告、学术论文中，经常以纯文字形式展开而不带图表等其他模态形式；在交响音乐会中，演奏者们通常身着统一的服装，舞台的呈现以音乐为主，没有如视频、灯光等其他形式。

社会文化的单模态化，同样使得有关这些领域的学术研究呈现单模态或单学科化的特征：“用一种语言去讨论语言（语言学），用另一种语言去讨论艺术（艺术史），再用另一种语言去谈论音乐（音乐学）。”［10］1由此，一个学科只能采用自己的方法、自己的假设、自己的术语，当然也有自身的优势和盲点。这与单模态符号文本的特征一样。我们在此前的研究中，只会关注一个符号文本中的主导模态，而忽视其他模态也会在同时对文本的意义生成产生重要的影响。这正是多模态研究的出发点所在。

如今的数字媒介时代，是多模态文本主导的时代。不同模态完全可以自由地汇聚在同一个符号文本之中或同一个界面之中。这是数字媒介时代的符号表意常态，而且在纸质媒介之中（例如小说、新闻报道、学术论文），在艺术文本之中（例如装置艺术、舞台艺术、音乐艺术）也具有这种多模态化特征。越来越多的图例、图像、漫画出现在文本之中，舞台演出越来越离不开多媒体因素，还有越来越多的艺术跨界与文本跨界现象，等等。不难发现，多模态是当今社会符号表意的主要形态。

二位学者也敏感地指出，20世纪末的符号学运动也表现出与“多模态文本”类似的趋势。各个符号学派都试图建构一套广义的理论框架，以包含所有类型的符号模态：从传统服饰到诗歌，从交通标志到古典音乐，从时尚到戏剧，等等。但这些学派与早期的“视觉符号学”一样，也仅仅是“某一个领域的专家（比如图像），并立足于某个单模态的学科之上”［10］2。

在上述基础上，二位学者认为多模态社会符号学要探索多模态符号交流背后所蕴含的共同表意规则。传统论者认为，多模态文本中的不同模态具有严格的界限，并行使不同的表意功能。例如在电影中，图像提供行为，同期声提供现场感，音乐营造情绪，它们各司其职，互不影响。而多模态符号学认为，在模态之中存有共同符号规则，它可以协同多种不同的模态，来共同建构一个符号文本的意义。所以，在电影中，音乐也可以表达行为，图像也可以表达现场感。因此，模态间的关键并不是等级关系、主次关系，而是合作、协同与统一调配。

因此，多模态符号学的任务就是建立这种宽泛的理论，来包容所有的模态。这是因为在既定的社会文化领域，不同的符号模态可以表达同一个意义。或者说，同一个符号文本里的多种模态，均在协同表达同一个意义。

1.多模态与符号资源

所谓“模态”（mode），在克雷斯等人看来，就是那些可以在话语以及不同类型的符号活动中同时实现（realization）的“符号资源”（semiotic resourc⁃es）。而符号资源，作为多模态分析的核心概念，是从韩礼德《作为社会符号学的语言》中有关“语法”（grammar of alanguage）的讨论中得到灵感的。韩礼德认为“语法不是符码，也不是一套可以创造正确句子的规则，而是一种‘可以产生诸种意义’的资源”。

基于这一理论，多模态学者们把语法概念拓展到更为广泛的符号模态中来，并且将符号资源定义为“一切可供我们交流的行动或者物品”。因此，符号资源并不仅仅局限于语言、写作或者绘画这些明显的符号表现形式，事实上“几乎所有自然存在的，或者人类自身创造的事物，也即一切能够用来表达社会与文化意义的事物”都可以被视作符号资源。但是，符号资源仅仅作为符号表意的潜势（semiotic potential）而存在。也就是说，符号资源如果没有被人们感知、解释，那么它只具有表意的潜能，并不能直接表意。

“符号资源”其实是一个复数的概念，它包括了在某个具体语境中可能被转换为意义的物质与感知的总和。把符号当作“资源”来理解，也就更加确定了符号使用者对符号使用的能动力。因为符号使用者必须要在一次符号过程（semiosis）中，懂得如何调度与整合符号资源，这样才能够很好地将其意图意义传递给符号接收者，反之亦然。因此，符号资源要表意，则必须进入社会交际的视野。只有通过符号传递双方挑选、甄别有用的符号资源，并进行交流、融合与沟通等活动，符号资源才能够被当作携带意义的符号而存在，相应地，意义表达行为才能够顺利进行。

“符号资源”带给我们的启示在于，社会交际是一种由各式各样的符号资源（单个模态）通过不同方式组成的多模态语篇，而对不同资源在一次交际行为中的不同排列，会造成迥然不同的交际效果。因此，多模态符号学分析的关键，就是要讨论在多模态符号文本中，这些潜在的符号资源是如何被调度，进而被有效衔接起来，用于社会表意的。

具体来说，社会符号学就是探究符号资源是通过什么方式被符号交际双方使用到具体的语境中，在此语境中得到了怎样的变异与互动，并且获得什么样的交际效果。在上述意义上，符号活动（semio⁃sis）可以重新修订为符号传达过程的双方，为使得符号意义在特定语境中得以顺利传达，而进行的双向符号资源的调度与整合活动。由此，符号传播便突破了文本的维度，进入到具体的社会语境中，同时利用一切能够促进该段交际顺利进行的策略和手段。

2.多模态符号传播中的意义生成

如同任何一个符号学说一样，多模态研究的核心是符号传播中的生成过程。不过，社会符号学在意义这一核心问题上与传统符号学，特别是结构主义符号学有着不同的立场。传统符号学研究者主要认为意义是在一个有机的系统或文本中一次生成的，因此他们所分析的意义是较为静态的［10］5。

社会符号学则把意义视为社会表意实践中，符号交际双方对符号资源的调度与使用，因此符号意义会动态地生成于社会表意实践的各个模态、各个层面以及各种过程之中。唯有从多个维度来考察符号资源也即模态在社会语境中的使用方式，才能够更加准确地描述出意义的生成过程。为此，克雷斯等人提出，应当从如下四个层面（strata）考察意义，即话语（discourse）、计划（design）、生成（produc⁃tion）与传播（distribution）。需要指出的是，这四个层面是符号意义生成的场域，它们是并列关系，而非自上而下的等级关系。

第一，话语。它是“某方面的实在（reality）被社会化建构（socially constructed）出来的知识”［10］5。所谓“社会化建构”，是指这些知识的形成需要依靠特定的、与社会行为者兴趣相关的社会语境。这种语境可以很广泛（例如“西欧”），也可以很集中（例如特定的家庭），可以是体制化的语境（例如报纸），也可是非常私人或日常的语境（例如餐桌边的闲谈）。这些具体的社会活动，都可以是话语生成所依赖的语境。

这些话语的范围也非常广泛，可以是构成实在之事件的知识，例如谁参与，发生在何时何地等等，也可以是有关该事件的评论、目的、解释。与此同时，人们对同一个具体的社会实在也会产生不同的话语。人们总是采用最利于社会交际的话语方式。换言之，尽管话语相对来说不太依赖于风格、模态以及设计，但是它必须在符号模态中才能产生，这是因为符号模态为其提供了具体的实现方式。

第二，计划。设计存在于内容与表达之间。它是表达的概念层面，也是概念的表达层面［10］19。简言之，计划就是对符号资源的使用，而符号资源则是社会语境中所有的符号模态以及模态的组合。具体来说，在社会符号交流中，有三个方面的事务需要被计划：（1）话语如何被组织或被调配；（2）话语如何在具体的社会互动之中；（3）符号模态如何被具体使用。因此，计划的目的就是在具体的社会交际语境中，通过计划并使用符号模态来建构社会话语。与此同时，计划的形成也可能从社会行动层面改变既定的社会话语。

第三，生成。它是指符号产品（semioticprod⁃uct）或者符号事件在物理形式上的衔接过程（artic⁃ulation）［10］20。多模态符号文本可以通过原型（proto⁃type）衔接，也可以在原型符号基础上被再度编码、转换成其他更容易传播的物理形式。与模态计划环节一样，多模态语篇的生成使得计划转换成可感知的意义形成过程，但也在某种程度上增加或改变了符号意义。

第四，传播。这是指符号使用者在技术层面对符号产品或符号事件的“再编码”（re-coding）［10］20。例如，我们对电视、电影的录制，以及在电视台或网络平台对该视频的传播。克雷斯等人认为，这种传播手段是一种意义再生成（re-production）的手段。它们在传播过程中，会获得自身的符号潜势（semi⁃oticpotential），共同参与到符号表意活动之中。电影在播放过程中出现的花屏、跳帧之类的通常被视为“噪音”的现象，也可以被视为是多模态文本的一部分，共同参与到符号意义的建构过程之中。因此，社会符号学的多模态分析是立足于具体的社会语境，对文本中的各个模态在上述四个环节中的组合、衔接及其具体的表意作用进行仔细分析。这为探讨符号意义在当今社会与文化的中生成与传播过程，提供了一套有效的方法论工具。