新视觉语法视域下的设计叙事方法研究

2022-05-30关晓辉姜乃琪洪志豪

美与时代·上 2022年7期

关晓辉姜乃琪洪志豪

摘要：为了打通跨学科方法研究的屏障，将语言学中的视觉叙事理论引入视觉传达设计领域之中，为研究者和实践者提供思维和实践上的启示。在新视觉语法中，设计者、作品和读者的交流必须是畅通无阻的。视觉传达设计的目标是使信息有效地传递给观众，而叙事又是信息传播的极佳手段，因此，整理这些方法对于视觉传达设计者而言具有重要意义。

关键词：新视觉语法;视觉叙事;设计叙事方法;人际关系;概念意义;组篇关系

“叙事性”一词来源于结构主义叙事学，主要用于文学领域。而在近十余年中，“叙事性”成为国内设计实践和研究所关注的一个热点。比如说，叶苹[1]策划了“叙事性设计研究”专题，遴选运用叙事性理论的数字交互、博物馆设计、品牌形象设计等方向文章，以探讨叙事介入设计的近况。具体到视觉传达设计领域，陈瞻[2]从美学和传播学的角度考察了广告、包装和海报设计的图像叙事性，包括直觉性、符号性和无意识性，归结为象征意义的整体。狄野等[3]探讨了杂志二维码设计的图像叙事策略，从主题、风格、技术几方面给出建议，并为新媒介视觉传播提供案例参考。马全福[4]系统梳理视觉叙事的历史发展脉络，分析了视觉传达叙事的可能性，并提出其内容、情节、表述的设计策略。尽管已有不少视觉传达设计的“叙事性”研究，但笔者发现，甚少有人论及与之直接相关的视觉语法理论。而在语言学领域中，已有学者运用这一理论对广告、绘本和漫画等的叙事性展开讨论。例如，冯德正等[5]运用视觉语法理论对主流媒体中的100则汽车广告进行分析，从视觉信息组织、互动关系建构、符合身份界定几方面总结广告设计的隐喻叙事策略。陈冬纯等[6]基于新视觉语法理论，用比较研究的方法分析中外儿童绘本叙事结构，并针对国内绘本设计的不足给出的建议。为了将语言学中的视觉叙事理论引入到设计学（尤其是视觉传达设计）领域中，以扩宽设计叙事的视野，本文将以佩因特（Clare Painter）、马丁（J. R. Martin）和昂斯沃思（L. Unsworth）三位学者构建的“新视觉语法”理论（成书于2003年）为框架，以几米和陈志勇的绘本为图像材料，对其中的设计叙事方法进行解读，为研究者和设计者提供思维和实践上的启示。另外需要说明，在新视觉语法中出现“视觉设计”的概念，指的是视觉符号的组合、交流和传播[7]，笔者认为这一概念和视觉传达设计是重合的。而本文所说的“设计叙事”，指的也是视觉设计叙事。

一、视觉语法的理论脉络

简言之，视觉语法是借用了系统功能语言学语法的一套图像解释系统。一般来讲，语法是指句子构成元素的变化和组织规律，可以被理解为话语分析。所以在语言学范畴中，视觉语法属于“多模式话语分析”，因为其分析对象是图像和文本组合的复合话语[8]。同时，视觉语法属于社会符号学理论，因为功能语言学把语言作为社会符号，也就是说，视觉语法也将图像作为各种视觉符号的组合[9]。从这些理论渊源来看，视觉语法与视觉传达设计有着紧密的联系。

（一）传统视觉语法

系统功能语言学是由韩利德（M.A.K. Halliday）所创立的。该理论的主旨是将语言作为一种社会符号，通过语法产生意义。与之对应的是功能语法，它并不是一系列形式上的規则，而是模式的元素之间的关系结构。韩利德在其功能语法中提出，语言具有概念、互动和组篇三种“元功能”。所谓元功能，是人类进行任何交流必须具备的功能。那么，尽管这些功能是基于语言所提出来的，但并不意味着它们仅适用于语言。语言的元功能理论对于多模式话语分析有很大启发，因为它能够解释文本和图像等组合体是如何进行交流和传播的[10]。

克瑞斯（G. Kress）和范勒文（T.van Leeuwen）把功能语法延伸到视觉领域，并以此创建了“视觉语法”理论（成书于1996年，又称“传统视觉语法”）。他们希望用完整的理论系统解释图像符号是如何实现其意义的。他们指出：“正如语法用于规定词和句子是如何进行组织的，那么视觉语法用于解析图像中的人、物和地点如何组合成具有视觉传播功能的整体。”[11]尽管对于图像是否像文本那样存在“语法”一直有争议，但也无碍两位学者在图像分析方面作出的贡献。

克瑞斯和范勒文依据功能语法中的三种元功能，创建了以再现、人际和构图意义为框架的视觉语法理论。在他们看来，元功能非常适合用于分析视觉符号。他们提出，视觉符号有对应元功能的自身功能：首先，它们可以再现客观世界的事件和概念;其次，它们能够确立观看者和图像之间的关系;最后，它们本身通过布局传递意义。这几个观点构成传统视觉语法的主要内容。

（二）新视觉语法与视觉叙事

随着传统视觉语法被越来越多的学者使用，有人发现这套理论存在一些缺陷，其中最大问题是它只适用于单个图像，而无法分析组图。在这种背景下，佩因特、马丁和昂斯沃思对传统视觉语法进行了调整和补充，并用近十年时间完成其著述，以此构建“新视觉语法”理论。与克瑞斯和范勒文关注各类图像不同，佩因特等专门以儿童绘本为对象，并就其叙事性展开研究。因此，“视觉叙事”成为他们著述的中心词。儿童绘本是近年来引起语言学学者关注的体裁，它们尤其重视图文的协调关系以及图像与观众的交流，是多模式话语分析的理想对象。佩因特等的著述延续了传统视觉语法的理论谱系，成为多模式话语分析中有影响力的研究成果之一[12]。

佩因特、马丁和昂斯沃思主要想解释“视觉设计”是如何通过视觉叙事传递意义的。在谈及其写作意图和目标时，他们写道：“我们发现现有的视觉语法需要扩充和修改。克瑞斯和范勒文为我们理解图像的语法功能打下坚实基础，但他们没有充分解释读者如何在视觉语境中投入情感……因此，本书对儿童绘本的叙事性分析力求做到三点：首先，继续探讨图像如何产生意义;其次，扩展社会符号学对视觉模态的描述，以验证它对图像分析的有效性;最后，提示视觉叙事如何建立起图像与人的情感关系。”[13]

他们对传统视觉语法主要进行了两个方面的完善：

1.把研究对象从单个图像扩展到组图，延伸了理论的适用范围;

2.更注重图像叙事性的分析，引入了叙事学“视点”“情感”“气氛”的视角，用来探讨图像与人的情感关系。

值得一提的是，他们把原来第二位的“互动意义”（interaction meaning）改为“人际关系”（interpersonal relation）并放在首位，以突出读者参与的重要性。

二、视觉设计的叙事方法

在视觉传达设计发展历程中，出现过眼花缭乱的风格和表达方式，它们的出现是为了满足不同语境的传播需求。根据传播学大师纳斯威尔的5W模式，稍加调整之后我们可以概括视觉传达设计的几大构成要素：传达者、信息、媒介、观众、效果[14]。以此理论为出发点，我们会发现，在注重文化传统和个性多元化的当下，追求信息和效果简洁化的设计已无法满足传达者和观众的需求。相反，以思想诉说和情感交流为目标的叙事设计越来越受到人们的重视。这是由于，叙事能够把更复杂的信息传递给观众。在这种背景下，佩因特等构建的新视觉语法无疑为设计者提供了方向性的指引。尽管这套方法由绘本设计概括而来，但对于其它图文结合的视觉传达叙事设计也有参考意义。新视觉语法分为三个部分：人际关系、概念意义、组篇关系。接下来，本文将对各部分的设计叙事方法进行解读。

（一）人际关系运用

在新视觉语法中，视觉设计的诉求在于将叙事主题传递给读者。也就是说，设计者、作品和读者的交流必须是畅通无阻的。因此，佩因特等把“人际关系”放在第一位。按照他们的观点，人际关系是指图像中的人物之间、图像与读者之间的关系。设计者的目标是叙述故事，使读者代入其中，这依赖于有效的人际关系。为了保证叙事顺利进行，设计者会为读者设置合适的视角，选择配合读者情感的人物风格和色调。而为了更好地解释如何运用人际关系，佩因特等将其分为聚焦系统、情感系统、氛围系统。

1.聚焦系统

聚焦系统涉及到设计者为读者提供何种视角，以参与到故事之中。传统视觉语法研究者提出，图像中人物望向图像外表示邀请读者参与，属于“求取”;没有这种目光的，则属于“提供”。不过，佩因特等认为视觉叙事与文本叙事不同，不存在“求取”和“提供”。取而代之，他们提出设计者为读者提供“有中介”和“无中介”两种视角。如果用电影镜头来比喻的话，前者属于主观视角，即读者的视角和图像中人物是一致的;后者属于客观视角，即读者的视角和画中人物不一致。

在绘本《时光电影院》中，设计者用第一人称叙述了一个小女孩的成长故事。她从小失去母亲，经常和父亲一起去电影院寻找关于母亲的记忆。设计者多次使用主观（小女孩）视角，描绘主人公在电影院的所见所闻，以诠释“思念”这一主题。图1（图片摘自《时光电影院》）中，读者与小女孩一起观看银幕上母女相拥的画面，犹如身临其境，和小女孩一起投入到怀念母亲的情感当中。这种视角设计方法增加了叙事的感染力，构建了图像的深层含义。

2.情感系统

情感系统是指设计者使用不同的人物风格调控读者情感的投入。佩因特等指出，人物风格越接近自然状态，越容易引起共鸣。人物风格分为自然、类化、最简三种：第一种最接近真实自然的个体，使读者马上识别并引发情感;第二种使读者识别其大致身份，但不能确定具体身份;第三种与读者的情感距离最远。

例如，绘本《我不是完美小孩》的主人公是一个小学三年级的小女孩，她身上充满缺点，却名叫“郝完美”。设计者希望通过叙述主人公的缺陷和烦恼让读者思考“真实不可能完美”的主題。在图2（图片摘自《我不是完美小孩》）中，设计者为了表现主题而使用类化风格，即只描绘人物的轮廓而隐去她的具体特征，从而暗示所有人都是不完美的。而在图3（图片摘自《我不是完美小孩》）中，设计者要表现小女孩个人的成长烦恼，则选择了自然风格。画中描绘的是一个全身上下充满缺点的三年级女生，这个人物形象很容易使读者把自己和她联系起来，投入情感并思考自己的不完美。

3.氛围系统

在新视觉语法中，“氛围”特指由色彩所营造的情感基调。也就是说，色彩能够直接调节图像的气氛，制造出或明媚、或安静、或悲伤的感觉，使读者受到感染。佩因特等提出，氛围系统分为色彩明度、色调、亲近度。色彩的明度和色调为我们所熟知，因此无需解释，值得一提的是色彩的亲近度。他们认为，图像运用的色彩越丰富，就越接近我们体验的真实世界色彩感，使图像更有亲和力。如在图4（图片摘自《时光电影院》）中，设计者描绘了一个阳光明媚的房间场景，透过窗外还能看到绿色的树枝上停着各种颜色的小鸟，穿着蓝色衣服的小女孩站在红色的小沙发上闻着一块黄色的围巾。丰富的色彩组合而成的图像使读者对这个场景感到亲切和自然，很容易代入视觉叙事的情节中。与之相反，图5（图片摘自《时光电影院》）只有蓝黑一种色调，显得单调而阴暗，使图像与读者之间的情感距离被拉远。此外，佩因特等还提出，黑白色无法营造情感基调，关于这一点还有待商榷。

（二）概念意义应用

“概念意义”一词来源于系统功能语言学，表示对一件事的完整描述，包括参与者、过程、环境三个要素。例如，一个女孩子（参与者）在马路上（环境）奔跑（过程），就构成一件事的文本叙事。传统视觉语法的研究者把这个术语引入到单个图像分析之中，以分析事件的视觉建构过程[15]。而佩因特等又对概念意义框架进一步调整，用于分析组图。他们提出，一件事的视觉设计叙事包括人物、事件、背景三个要素：人物是事件的主导者，引发故事的发生和发展;事件是人物的活动，具有时空维度;背景相当于事件发生的情境。所以，他们将概念意义分为人物表征、事件关系、背景关系。

1.人物表征

人物是故事的灵魂，是视觉设计叙事中最核心的要素。因此，设计者要精心处理人物的外表、年龄、阶级、地位等，与叙事的主题互相配合。佩因特等将人物表征定义为利用视觉设计手段塑造人物的方法。它分为完整表征和转喻表征两种：完整表征指描绘人物的头部和表情，以明确其身份和个性特征;转喻表征指仅仅描绘人物的衣着或者轮廓，间接提示其身份。通常在视觉设计叙事中，设计者在人物的初次出现时会采用完整表征方法，使读者对这个人物有充分的认知，为表达叙事主题进行铺垫。如图3，设计者在主人公郝完美初次出现时细致地描绘她的外表：头大、身小，有一点驼背，五官十分普通甚至有一些小缺陷。由此，设计者运用完整表征的方法塑造了一个外表与其名字恰好相反的三年级小女孩形象。而在之后的叙事中，如图6（图片摘自《我不是完美小孩》），设计者则使用转喻表征的方法，用竖发、绿角和尖牙来表现小女孩的愤怒，进一步强化她不完美的人物特点。

2.事件关系

“事件”是指人物在故事中从事的活动。由于视觉叙事的设计者要呈现一个图像中的不同事件，或者连续图像中的事件，因此，他们要处理好这些事件之间的联系。佩因特等提出，处理事件关系的方法分为事件展开和事件投射两种。事件展开是用连续图像呈现故事发生的过程，通过描绘人物的不同动作、背景转换等推进视觉叙事的进程。事件投射属于比较独特的视觉叙事方法，有类似于“画中画”的特征，又分为视觉投射和想象投射两种。视觉投射是指画中人物所见另一个真实发生的事件，如图7（图片摘自《时光电影院》），描绘了一个男子透过门孔看见房间中母亲抱着新生儿的场景，这两个事件都是真实而且同时发生的。想象投射则是指画中人物所见另一个并非真实的事件，是人物在头脑中想象出来的，如在图8（图片摘自《夏天守则》）中，描绘了两个男孩站在房间门口，看见房内爬上沙发、布满墙壁的奇怪生物，还有长到天花板的树。在这里，设计者想通过这个虚构的场景表达两个男孩的内心可能是成年人难以触及的想象世界。

3.背景关系

“背景”是指故事发生的环境。文本叙事对背景的描述包括地点、方式、动机、程度等，但它们大部分是无法通过视觉呈现的。因此，在视觉设计叙事中处理背景的方法比较局限，主要是根据事件发生的环境调整图像的背景。如果连续图像中的事件环境没有变化，那么设计者会使用相似背景或稍微调整视角;如果事件环境有变化，那么设计者会使用新的背景或者空白背景。在绘本《地下铁》中，如图9（图片摘自《地下铁》）和图10（图片摘自《地下铁》）都采用了现实背景和想象背景结合的手法。在后景中，设计者反复描绘相似的地下通道，以强调盲女经常独自一人在陌生和稍显冷漠的大城市中行走，这是现实事件背景。而在前景中，设计者描绘与后景迥异的奇妙场景，这是想象事件背景。设计者通过前后景的对比，表达了虽然盲女在枯燥和单调的现实世界中生活，但是她的内心世界却是充满奇思妙想、缤纷多彩的。

（三）组篇关系运用

一般情况下，视觉传达设计中的图文版式设计会使观众的注意力产生不同的变化，从而实现设计者的意图。这是由于，人的视觉会自动整合图像和文字的信息[16]。在新视觉语法中，对这一原理有更细致的分析。“组篇”是指图文组合的设计，是视觉设计叙事的重要手段。佩因特等认为，图文关系会引导读者的注意力与叙事的过程同步，因此，合理的组篇关系会使视觉叙事更加流畅和衔接得当，并使人际关系和概念意义达到更佳效果。他们将组篇关系分为结合型与互补型两种。

1.结合型

结合型的布局关系是指文字覆盖在图像之上，即成为图像的一部分。运用这种布局关系会形成图像叙事为主、文字叙事为辅的效果。在这种关系中又有文字投射和文字扩展两种不同的设计方法。文字投射经常被设计者所使用，通常是用语泡把文字安插在图像之中，语泡的文字有可能是人物说话的内容，也有可能是其想法的内容。文字扩展则是设计者直接把文字安插在图像之中，使图像和文字相互阐释。图3中便使用了文字扩展，图像具体地描绘小女孩的外表，而文字则补充生动的描述，如“眉毛怎么不见了”“黑眼圈很严重”“毛孔粗大”等。读者观看她的肖像时结合文字一起解读，会对这个个性鲜明的小女孩留下更深的印象。

2.互补型

互补型的布局关系是指文字和图像各自占据独立的空间。与结合型相比，这种布局关系使得图像叙事和文字叙事的主次之分没有那么绝对，而两者更多的是互补关系。由于文字可以安排在图像的上下或者左右两边，图像和文字的重要性也就有可能不同。佩因特等提出，当文字和图像的位置成垂直关系时，文字安排在下方更突出图像的重要性;当文字和图像的位置成左右关系时，文字安排在右方更突出图像的重要性;当文字同时出现在图像的上下或者左右方之时，文字和图像同等重要。如图4，文字安排在图像下方，这种方法是在视觉设计叙事中最常见的，即图像的重要性更加突出。读者首先会看到图中一个小女孩拿着黄色的围巾在闻，然后才会读到文字，从而理解图像的含义，了解到她是在怀念母亲的味道。

三、结语

本文基于新视觉语法理论，对从属于人际关系、概念意义、组篇关系的设计叙事方法进行解读。在笔者看来，尽管这些方法都是根据绘本设计总结而来，但对于广告、海报、漫画等其它图文结合的载体同样有效。视觉传达设计的目标是使信息有效地传递给观众，而叙事又是信息传播的极佳手段，因此，整理这些方法对于视觉传达设计者而言具有重要意义。

笔者尝试在提炼新视觉语法要点的基础上为设计者梳理以下策略。（一）在人际关系方面，为观众提供多种代入图像故事的视角，使其与图像人物建立情感联系，巧妙运用不同的人物风格调控观众的情感投入;根据叙事主题选择适当的色彩系统渲染故事的氛围。（二）在概念意义方面，要善于利用完整表征和转喻表征的手法，为观众预留足够的想象余地，利用事件展开和投射的方法使视觉叙事有效推进，通过微调或者切换背景的方法使故事叙述更加自然。（三）在组篇关系方面，需根据叙事内容精确运用结合和互补的图文布局，推动叙事意义的表达。最后需要指出的是，设计策略并非定律，不能简单地套用，而要根据不同的情况进行修正和创新。

参考文献：

[1]叶苹.选题策划《叙事性设计研究》序言[J].包装工程，2018（4）：11-12.

[2]陈瞻.视觉设计中图像的叙事性象征[J].包装工程，2012（24）：29-31.

[3]狄野，杨彬.基于图像叙事策略的“视觉码”传播设计：以《中国出版》杂志二维码优化设计案为例[J].中国出版，2017（5）：38-42.

[4]马全福.视觉传达设计叙事策略研究[D].杭州：中国美术学院，2018.

[5]冯德正，邢春燕.隐喻叙事与多模态意义建构：以汽车广告为例[J].外国语，2011（3）：56-61.

[6]陈冬纯，陈芝敏.基于新视觉语法的英汉儿童绘本叙事结构比较研究[J].西安外国语大学学报，2019（4）：36-41.

[7]冯德正.视觉语法的新发展：基于图画书的视觉叙事分析框架[J].外语教学，2015（3）：23-27.

[8]李战子.多模式话语的社会符号学分析[J].外语研究，2003（5）：1-8.

[9]张敬源，贾培培.关于视觉语法的几点思考[J].当代外语研究，2012（3）：38-42.

[10]李德志.广告类超文本多模态的视觉语法分析[J].外语学刊，2013（2）：7-11.

[11] Gunther Kress，Theo van Leeuwen.Reading Images： The Grammar of Visual Design[M].London：Routledge，1996：5.