陈曦 潘韩婷 潘莉

（澳门科技大学，澳门999078；中山大学，广州510275；广东外语外贸大学，广州510420）

提 要：近年来，多模态翻译在国际学界发展迅猛，但国内学界至今仍无该领域较全面的引介和评述。 鉴于此，本文追溯多模态概念在翻译研究中的介入与发展，梳理多模态翻译的国内外研究现状，并在此基础上指出，目前国内多模态翻译研究存在总量少、范围局限、视角单一、概念滥用等不足，提出多模态翻译研究需加强理论构建、拓宽实证领域、推进相应语料库建设等方面的建议，以期为今后多模态翻译跨学科研究的进一步发展提供借鉴。

1 引言

多模态“在其最基本的意义上，是在特定文本中多个符号模态的共存”（Gibbons 2012:8）。多模态可以指在一个交流成品或交流活动中不同符号模态的混合体（Van Leeuwen 2005:281），也可以指调动不同的符号资源， 在一个特定的文本中共同构建意义的各种方式（Baldry， Thibault 2006:21）。 不论是口语还是书面语，语言的使用总是不可避免地由多种交际模式构成，因此从某种意义上说，所有的话语都是多模态话语（Kress，Van Leeuwen 1998:186）。

科技的飞速发展使计算机和多媒体技术得到广泛运用，文字、图像、声音等多模态同时出现的话语形态更加普遍，多模态研究也随之蓬勃发展。 目前，多模态研究主要有3 种途径:社会符号学途径（Kress 2009；Kress， Van Leeuwen 1996，2006； Van Leeuwen 2005），系统功能语言学途径（O'Toole 1994；O'Halloran 2004，2005；Jones，Ventola 2008）和会话分析途径（Goodwin 1981，2000）。 在此基础上，还有地理符号学（Scollon，Scollon 2003）、多模态交互分析（Norris 2004）、多模态民族志（Flewitt 2011）、多模态语料库分析（Baldry，Thibault 2006；Bateman 2008，2014）等新途径相继产生。 科技发展也同样为翻译研究带来革新，语音翻译、云翻译等新形式的出现为从多模态角度探索翻译研究提供可能。 Snell-Hornby 提到“图像转向”已经到来（Snell-Hornby 2010:368） ；Munday 指出，“翻译研究的兴趣已经拓展到诸多的符际翻译形式”（Munday 2010:422）。 随着人们对翻译认知的不断拓宽和深化，翻译研究已从过去单模态为主的研究开始更多地转向多模态的翻译研究。 在互联网交际的大环境下，多模态翻译研究将是未来翻译研究的一个新热点。 笔者在文献搜集的过程中发现，国内对多模态翻译存在着认识不清、研究不足等问题。 因此，本文对多模态理论在翻译研究中的应用与发展进行系统的梳理分析。 首先追溯多模态概念在翻译研究中的介入与发展，然后通过文献法梳理多模态翻译的国内外研究现状，探讨国内多模态翻译研究目前存在的问题，并指出未来多模态翻译跨学科研究的发展方向。

2 多模态在翻译研究中的介入与发展

2.1 跨文化多模态交际概念

Kress 和Van Leeuwen（2001）提出多模态交际的概念，这为多模态概念在翻译研究中的介入做铺垫。 尽管在该研究中作者没有直接指向翻译研究，但其为研究不同模态（mode）的功能及模态和媒介（medium/media）间的关联性提供参考，也为翻译研究者带来启发。 Kress 和Van Leeuwen 将模态定义为允许同时实现话语和多种互动的符号资源（Kress ，Van Leeuwen 2001:21）。 模态不再只是产品，而是显示话语性并具有文本构成功能的文化过程。 从这一角度看，多模态研究如何使用多个符号模态来设计一件符号产品或活动，以及这些模态相结合的特定方式（同上:20）。 Kress 和Van Leeuwen 将多模态看作文本设计的一种原则，单一模态不仅有特定功能，而且有协同作用，模态在文本中具有哪些功能，设计文本时要用到哪些模态，这些取决于语用因素和特定的文化因素。

多模态交际将多模态的概念引入到与交际和文化相关的翻译理论中。 其中与Kress 和Van Leeuwen 的理论联系最紧密的是Holz-Mänttäri（1984）的翻译行为理论。 与Kress 和Van Leeuwen相似的是，Holz-Mänttäri 强调翻译的设计特点，翻译不仅是语言的传递，更是突破文化障碍的文本设计。 译者通常专注于文本中的文字转换，但由于文本的多模态设计，他们也需要和摄影师、图画设计师等其他专业人士合作，从而产生出满足译文接受者交际功能的译文。 例如，在翻译科技手册时，视觉模态和语言模态都起到解释操作步骤的作用，而文本的交际作用到底是由图像还是语言实现则由特定文化因素和产品的语境来决定。

2.2 涉及多模态的翻译分类

将多模态概念引入翻译分类可以追溯到Jakobson （1959:127）的翻译3 分法:（1）语内翻译（intralingual translation），或重述（rewording）:用同种语言内的其他符号来解释语言符号；（2）语际翻译（interlingual translation），或真正的翻译（translation proper）:用其他某种语言来解释语言符号；（3）符际翻译（intersemiotic translation），或跨类翻译（transmutation）:用非语言系统的符号来解释语言符号。

在Jakobson 的翻译分类中出现符际翻译的概念，将非语言系统的其他符号也纳入到翻译的范畴中，这种针对语言和非语言信息进行综合处理的翻译手段，在文化传播和交际层面上更加适合如今种类繁多的非语言交流和传播活动。 然而，在实际翻译中，语内、语际和符际翻译往往不是独立分开的，而是在很多情况下交叉共存。 例如，电影字幕翻译就涉及语际和符际翻译两种类型，而改编常常很难在语内或语际翻译之间定义。 围绕符际翻译，一系列新的翻译概念也随之提出，使Jakobson 的翻译分类得到拓宽和延伸。 例如，Toury 将翻译的定义拓展为“一个符号实体被转换替代为属于另一个符号系统的符号实体”（Toury 1986:1128）。 他认为，符际翻译是“两个不同符号系统间不同符号编码的转换，其中一个符号编码可以是语言符号，也可以不是”（同上:1129）。 Gorlée 认为，多模态概念需要纳入翻译分类的考量，因为在Jakobson 的3 分法中，对非语言符号向语言符号的转化缺乏更详细的进一步讨论（Gorlée 2010:58）。

针对包含多模态文本的翻译，Kaindl（2013:261 -262）基于模态、媒介和文化提出一个更为细化的翻译分类（见表1）。 Kaindl 根据模态的不同将翻译分为模态内翻译（intramodal）和模态间翻译（intermodal）。 模态内翻译指只涉及同一种模态的翻译，例如从语言模态到语言模态，从图像模态到图像模态；模态间翻译则包含不同种模态间的转化过程（同上）。 在这两种翻译中，又有文化内（intracultural）和文化间（transcultural）两种情况。 文化内翻译的交际行为是在同一文化的不同目标群体中实现，而跨文化翻译则是打破文化障碍的交际行为（同上:262）。 例如，将迪士尼漫画翻译成日本漫画就是不同文化间同一模态内的翻译，而将一本配图操作手册翻译成纯文字文本则属于同一文化内不同模态间的翻译。

表1 基于模态、媒介和文化的翻译分类

同时，依据媒介的不同，翻译又可以分为媒介内翻译（intramedia）和媒介间翻译（intermedia）。媒介内翻译只涉及同一种媒介，而媒介间翻译则包含至少两种媒介的转化。 例如，美国一些流行歌手的音乐作品同时面向美国的英语和西班牙语观众，那么他们的音乐录影带的英语和西班牙语版本其实是同一文化同一媒介内的转化，但却涉及到不同模态间的翻译。 因为考虑到市场需要，在面对美国本土观众和欧洲观众时，往往会拍摄出不同版本的音乐录影带来迎合欧洲观众的观影习惯，如剪辑、图像的出场次序等就会有所不同，这也形成不同的模态（同上）。

Kaindl 翻译分类中的“模态”和“媒介”是有重叠的两个概念。 文本模态通常通过媒介语境实现，因此二者总联系在一起。 模态也可以通过不同媒介实现，例如语言能通过书写媒介成为文字，而通过讲话媒介成为声音。 在翻译中，模态和媒介都有必要列入考虑（同上:261）。 为避免这两个概念的混淆，我们可以参考Lee 对二者的区分，模态指文本表现中不同的符号形式，例如，语言的、视觉的、听觉的、触觉的等符号形式；而媒介则是与这些符号形式对应的表现形式（如歌剧、戏剧、漫画等），以及它们的物质沟通渠道（如广播、电视、电子媒体等）（Lee 2012:11）。 在Kaindl 的翻译分类中，模态内翻译、模态间翻译、媒介内翻译和媒介间翻译的概念紧密相连，互相影响。 这一翻译分类将模态的概念引入到翻译研究中，使Jakobson 的翻译3 分法得到拓展，也有助于为一些之前较难定义的翻译现象找到更为细化的定位。 翻译不再仅仅是一个文本行为，而成为一种涉及模态、媒介和文化的交际行为。 然而，Kaindl 的翻译分类也存在一些问题，例如其中对模态和媒介的区分在实际分析中常易混淆，同时，由于其分类过细，也易于在具体应用中显得既过于复杂又不够实用。

3 国外多模态翻译研究现状

通过文献法，我们首先将国外多模态和翻译相结合的跨学科研究进行文献梳理。 目前，国外多模态翻译研究相关领域主要包括视听翻译、广告翻译、口译、游戏翻译、网站翻译、儿童图画书翻译、漫画翻译等，主要侧重于从不同研究视角探讨如何处理翻译和跨文化交际中涉及的多模态因素，以及多种模态在翻译中如何互相转换、作用等问题。

多模态与翻译结合最早、研究最广的领域是视听翻译，它研究多模态和多媒体文本中的语言或文化转换（González 2009:13）。 目前，视听翻译的研究领域已经拓展到“对用任一媒体（或格式）来制作的节目（或后期制作）进行的所有翻译形式（或多符号转换）”（Orero 2004:vii-viii），包括电影字幕翻译、配音、口译、画外音、同声传译，以及新闻播报的现时字幕和歌剧唱词字幕等的翻译。 同时，一些有关媒体接触的新研究领域也被涵盖其中，例如，为失聪和有听力障碍的人进行的字幕翻译，以及为失明和有视力障碍的人进行的音频描述（同上）。

由于视听文本的产生和意义阐释依赖于各种符号资源或模态的配置，视听文本具备多模态属性，其意义建构的模态主要包括语言、图像、声音、音乐、色彩等。 Zabalbeascoa 认为，视听文本经由听觉、视觉这两种符号与语言、非语言这两个交际通道相互交叉，产生“听觉—语言”“听觉—非语言”“视觉—语言”“视觉—非语言”4 种不同的符号类型（Zabalbeascoa 2008:24）。 因此，对视听翻译的研究须要考虑多个传播通道的相互作用。 在视听翻译研究中，常利用多模态转录（Baldry， Thibault 2006）作为系统化多媒体文本分析的有力工具，来分析视频、电影、网站、电脑游戏等多媒体文本。 同时，也可将多模态转录与电影字幕翻译相结合，通过详细准确的电影文本描述，使字幕翻译人员能够把译文选择建立在视觉、音乐、色彩等其他符号形式提供的意义之上，以选择合适的翻译策略（Taylor 2003，2016）。 此外，借助多模态语料库进行视听翻译研究也成为近年来的趋势。 多模态语料库指“经过标注的不同交际渠道（包括话语、目光、手势、身势语等） 同步内容的集合” （Foster，Oberlander 2007:307 -308），“包含经过转写、处理与标注的语言文本及与文本紧密关联的音视频数据库”（Heiss，Soffritti 2008），语料库途径的多模态研究可拓宽视听翻译的研究视角。 例如，可利用多模态注释软件和多模态语料库检索软件进行电影音频描述的分析（Hurtado，Gallego 2013），或基于多模态语料库对美剧配音中幽默语篇进行研究（Balirano 2013）等。

除视听翻译外，广告翻译也和多模态研究联系紧密。 广告文本，包括印刷广告和多媒体广告，都涉及到不止一种模态参与意义建构，这一多模态属性在翻译过程中起着重要的作用。 例如，视觉语法就可以作为分析电视广告的有力工具（Millán-Varela 2004），在广告设计中，文化、意识形态、话语特征、视觉因素和符号功能都需考虑在内。 同时，视觉模态在印刷广告和其他印刷文本翻译中的作用也不容小觑（Torresi 2008）。 广告和品牌形象的符际翻译是一个包括市场分析、品牌定位等诸多因素的长期决策过程，“不仅是某一特定产品的图像，而且品牌的整体形象及其所代表的价值，都需要根据不同的目标文化进行改编”（同上:68）。 此外，图像对广告信息传输的影响，将符际翻译从语言符号到非语言符号的转换，扩展到非语言符号系统之间的转换（Smith 2008）。 在广告设计中，图像的排版、方向性、主题的选择等都涉及一系列的视觉修辞选择，译者须要提高视觉配置能力，解码广告信息，使其更好地被目标文化所接受。

在口译过程中也涉及到大量非语言因素，从语调、语速到注视、手势、视线活动、面部表情等都影响着信息的传递和理解。 近年来，一些学者也开始在口译和口译培训相关研究中引入多模态视角。例如，在同声传译过程中，视觉非语言沟通对信息理解的重要性已经得到关注（Rennert 2008）。 此外，多模态口译语料库也是一个值得关注的多模态研究新领域。 例如，利用带有手势注释的多媒体口译语料库来辅助口译培训，将有助于减少实习译员和专业译员在处理手势等非语言信息时的差异（Zagar Galvão，Galhano Rodrigues 2010）。

同时，特殊文本的多模态翻译研究也开始吸引学界的关注，其中包括一些随着多模态发展产生的新文本模式，如游戏翻译、网站翻译、实验文学翻译等。 电子游戏多模态翻译（O'Hagan 2007）就是随着互联网和游戏产业发展而新兴的研究领域。 现代电子游戏构建出一个科技化的多模态空间，在游戏本地化过程中，译者需采用各种超越文本的调整手段，创造特定游戏在特定目标市场的游玩乐趣。除电子游戏，桌上游戏翻译（Evans 2013）中同样须要考量多模态因素，对应不同的目标市场，游戏规则说明、游戏卡片等中的文字和图像都要做出相应的调整，从而全方位提高玩家的游戏体验。 而在网站翻译中（Tercedor Sánchez 2010， Rike 2013），通过不同的信息渠道和符号，互联网多模态使新的翻译方式和翻译任务成为可能。 与传统的文学形式不同，融合文字、科技、表演等多种模态的实验文学（Lee 2013）把翻译视为一种“跨文化语际—符际翻译”（Wang 2009）。 在如今的沟通中，感官知觉在话语实践中的比重越来越大，这种跨语言也跨媒介的翻译角度使不同方式的意义沟通成为可能。 此外，博物馆展览中视觉因素对文本翻译的制约和影响也值得关注（Neather 2008）。 在博物馆，语言的、视觉的、空间的等不同的意义系统互相作用，这些互动包括跨符号层面的（如不同的语言和视觉因素间的）以及符号内部层面的（如物体间的、物体和照片间的、文本间的）。 博物馆中的语际翻译需要综合考虑这些多角度的互动，才能产生有效的目标文本。

对于图文并茂的儿童绘本来说，图像和文字间的关系一直是学界的关注点。 Pereira（2008）将插画书中的图片看做是对文本的符际翻译，认为语际翻译中使用的翻译策略和方法也同样适用于对绘本中符际翻译的分析。 他还根据实例分析，总结出3 种图片翻译文字的方法:在图片中重现文本中的信息、在图片中强调特定的叙事元素和针对特定的意识形态和艺术潮流对图片进行改编，这为从符际翻译角度解读图文关系提供很好的借鉴。 Chen（2018）结合多模态语篇分析理论提出绘本图像的多模态分析框架，将系统的图像分析与文本分析相结合，从语际翻译、语内翻译和符际翻译的角度解读绘本翻译。 此外，图像、声音和文字在绘本中的相互作用（Oittinen 2008）也是如今儿童绘本翻译中的热点。 文字和图像是符号化的，相呼应的，也是有归化和异化途径的，插画作者可以利用归化策略，在图片中添加一些特定的事物，从而使图片叙事更能被目标语读者所接收。 同时，译者的视觉认知能力和媒介素养对多模态翻译也有重要影响，专业的译者需要有颜色、图形、声音效果、视听隐喻、视觉文化差异等方面的广博知识，才能胜任儿童绘本翻译的工作。

作为同样图文并重的体裁，漫画中的叙事方式和图文关系却与绘本大不相同，也呈现出不一样的多模态互动。 比较有代表性的是对漫画中多模态幽默及其对应翻译策略的研究（Kaindl 2004）。 漫画中创造幽默效果的语言和非语言符号间的关系可分为语言层面的文字游戏、多模态符号游戏、非语言符号游戏等，为实现全面的幽默效果，除选择合适的翻译策略外，还可采用特定的视觉漫画技巧，如文化特定视觉因素的使用、图像互文性和图像暗示等，以突出漫画图像的幽默。 此外，漫画中的语言和视觉模态在翻译过程中的符际关系也值得关注（Borodo 2015）。 漫画中的人物不仅通过对话框互动和沟通，而且通过手势、体态、目光注视或面部表情等进行互动，这些视觉模态和语言模态对意义构建的作用同样重要。 因此，在漫画翻译过程中，译者须要采用多种策略以兼顾到语言和视觉两种模态间的关系，如压缩或增加原文，删除两模态间不一致的例子，重新解释对话框中的特定内容，甚至重绘部分人物或章节，删除一些视觉符号或用其他符号代替它们。 而这些语言或视觉方面的转换，也会反过来影响图文关系和译文中两种模态间的互动。

除上述多模态翻译研究相关领域外，将认知研究和多模态翻译相结合（Ketola 2016）的尝试也值得肯定。 多模态翻译属跨学科研究，引入新学科的交叉视角，将为多模态翻译研究注入更多新鲜血液。 例如，在包含文字信息和视觉信息的配图科技文本的翻译中，借助多媒体学习认知理论和文本与图像理解的综合理论，译者可以更好地理解文字和图像两种模态提供的信息，从而选择更为合适的翻译策略（同上）。

4 国内多模态翻译研究的不足与展望

相对于国外翻译学界在多模态应用领域的积极尝试，国内翻译学界才刚刚起步。 目前，国内仅有1 篇对中国多模态翻译研究的述评（许勉君2017），且仅限于对国内多模态翻译研究现状的梳理、分析，对多模态概念如何介入翻译研究并逐渐发展，以及国外多模态翻译研究现状等，都没有进行系统性的回顾和讨论。 通过文献梳理我们发现，目前国内多模态翻译文献的现状是总量少、范围局限、研究视角单一、缺乏深度和广度等特征。 此外，国内多模态翻译研究主要局限在影视翻译和多模态教学两大领域。 影视翻译研究多以字幕翻译为主，重复研究多，观点大同小异。 而且，对“多模态”概念有滥用趋势，有些文章在题目中出现“多模态”，而文内并不真正涉及多模态核心概念或多模态分析。 在多模态教学领域，口译教学研究值得肯定，多模态口译语料库（刘剑胡开宝2015，刘剑2017）和多模态口译焦虑（康志峰2012）的相关研究为口译教学与研究提供借鉴和参考。 目前，多模态口译语料库仍处于起步阶段，但将来“必将成为口译教学的辅助工具”，并会“沿着网络化、交互性、开放性、商业化的方向迅速发展”（刘剑2017:14）。然而，除口译教学外的其他多模态翻译教学研究大都不尽如人意。 很多文章将多媒体技术的运用简单地理解为多模态教学，这是对“多模态”认识不清、概念混淆的表现。 此外，也有研究从多模态翻译的符际特征角度审视政治文本（陈风华董成见2017）及文化绘本（王悦晨2018）的翻译。 在目前“一带一路”国家战略的大背景下，多模态与外宣翻译、文化形象构建的结合也是值得尝试的研究领域。

基于对国内外多模态翻译研究的梳理，笔者认为未来国内的多模态翻译研究应聚焦于以下3 个方面:

（1） 加强多模态翻译研究的理论构建。 多模态理论的介入和发展拓宽翻译的研究范畴，将更多的非语言因素纳入对翻译研究的考量中。 在如今的多媒体时代，从多模态视角审视翻译研究显得尤为重要。 目前，多模态和翻译相结合的跨学科研究还是一个有待进一步探索和发展的新领域，尤其在国内翻译研究领域，相关研究还处于起步阶段，未有多模态翻译理论的研究专著和理论综述性文献问世，对多模态翻译的相关理论、研究方法、研究框架认识不足，这也是导致目前国内多模态翻译研究较为单一的主要原因之一。 国内多模态翻译研究面临的一大挑战是如何找到合适的多模态理论和研究框架来研究不同翻译文本中的非语言模态。

（2）拓宽多模态翻译研究的实证研究领域。通过对比国内外多模态翻译研究的应用与发展我们发现，多模态翻译研究应用前景广大，并不局限于影视翻译和翻译教学，在一些实用性较强的领域，如手语翻译、医疗翻译、网站翻译、博物馆翻译等也大有用武之地。 此外，如漫画翻译、儿童绘本翻译等领域在国外已经有成熟的多模态翻译研究，但在国内并没有受到足够的关注。 结合多模态理论来研究中国连环画翻译、中国原创绘本外译等也是值得尝试的多模态翻译研究领域。

（3）推进多模态翻译语料库的建设。 目前国外已有多个多模态语料库，有综合性多模态语料库，也有专门用途多模态语料库，应用在心理学、犯罪学、计算机语言学、人机互动、医学诊断与康复等多个跨学科领域。 国内多模态语料库建设则滞后不少，现阶段仅有顾曰国教授（2006，2013）建成的“SCCSD”多模态语料库作为主要代表。 在多模态翻译语料库方面，国外已建成数个多模态口译语料库，例如“CIAIR 同传语料库”（Tohyama，Matsubara 2007）、“欧洲议会口译语料库” （Russo 2012）、“ComInDat”社区口译语料库（Angermeyer et al.2012）等。 近年来，国内也逐渐建立起几个多模态口译语料库，如“汉英会议口译语料库”（CECIC）（胡开宝陶庆2010）和“中国大学生英汉汉英口笔译语料库”（PACCEL）中的口译子语料库（文秋芳王金铨2008），但数量仍然不足，且在处理多模态语料方面尚存缺陷。 期待未来的国内多模态翻译研究者能与软件工程、计算机等领域的学者展开积极的跨专业合作，以进一步探讨多模态语料的切分与标注等问题，并建立更多更好的多模态翻译语料库，推动多模态翻译研究的发展。

5 结束语

多模态话语分析和翻译研究这两个新领域均在应对全球化跨文化交际中扮演重要角色，而数字时代的到来为这两个学科的发展提供更广阔的平台。 将多模态理论运用到翻译研究中，可打破翻译的文本局限。 不同模态间的转换本身就是一种翻译过程，而翻译过程所涉及的复杂因素（例如，文本—译者大脑构式—文本）也意味着翻译本身的多模态性质。 因此，多模态理论在翻译研究中的应用可以帮助我们探索更多、更复杂的翻译活动，并开拓新的研究领域。