傅晓莉, 李爱萍

(北京大学 对外汉语教育学院，北京 100871)

一、 引 言

随着科学技术和时代的发展，二语听力教学正由传统的音频教学转向视听教学，视听的相关研究也越来越为学界所关注。视听不同于听力，视听同时激活视觉和听觉的感知，而听力只激活听觉感知；视觉器官和听觉器官对信息的适应情况并不一样(1)章国英.信息感知效率与视听软件的设计[J].外语电化教学，1999,(2).。视听可以认为是一种多模态输入，这种多模态主要表现为图像(动态)、声音和字幕形式，体现了图像、文字和动作3种元功能(2)van Leeuwen,T.(1999).Speech,Music,Sound[M].London:Macmillan Press Ltd.。相关研究表明，人们通过视听结合方式所获得的信息和获得信息的效率，远远超过单一的获得方式，记忆也更为持久(3)刘立新 邓方.读图时代的视听说教学——以《汉语视听说教程——家有儿女》的教学实践为例[J].国际汉语教学研究，2017,(2).。二语视听多模态输入的理论基础主要有输入假说和认知负荷理论，本研究基于这两个理论，尝试检索整理国内外二语视听多模态输入的相关研究成果，发现从研究内容来看，主要可以分为两类，一是视听多模态输入对二语习得的影响研究，二是二语视听多模态输入难度的影响因素研究。

二、研究内容

(一)二语视听多模态输入对二语习得的影响

1.视听多模态输入对二语听力理解的影响

研究表明，听力策略中存在一种“补偿机制”(compensatory mechanisms)，即当学习者因语言知识不足而导致听力理解受阻时，往往会借助一些补偿信息，如可参考的图片、视频、文字注解，以及听者自己头脑中可提取的文化信息、百科知识、生活常识等相关线索(4)Vandergrift,L.Recent development in second and foreign language listening comprehension research[J].Language Teaching,2007,40(3).。视频作为听力策略中补偿机制的一种，从侧面证实了视听结合的可能性和合理性。实际上，相比单纯的听力，同步的视听能够促进二语学习者更多地运用自上而下的听力理解模式以弥补语言知识的不足(5)Seo,K.Research note:The effect of visuals on listening comprehension:A study of Japanese learners’ listening strategies[J].International Journal of Listening,2002,16(1).。而且，与纯音频相比，视听文本能够提供更真实、更鲜活的语言输入以及更充分、更丰富的多模态文化与情景语境，更能促进学习者对内容的理解，且更有助于激发学习者对听力任务的参与兴趣(6)Wagner,E.The effect of the use of video texts on ESL listening test-taker performance[J].Language Testing,2010,27(4).。从听的难度来说，视听材料相比相同内容的纯音频词材料来说，难度也更低(7)Lonergan J.1984.Video in Language Teaching[M].Cambridge:Cambridge University Press.，视频比音频的促听促解作用更大(8)肖好章 周美珍 刘玉婷.任务和环境对听力理解的影响[J].现代外语，2018,(3).；视听双重输入能够提升二语学习者对材料文本的理解程度，更能促进听力技能的发展(9)Thompson,I.& Rubin J.Can strategy instructions improve listening comprehension?[J].Foreign Language Annals,1996,29(3).。比如，Rubin(10)Rubin,J.Improving foreign language listening comprehension[A].In Alatis,James E.(ed,).Linguistics,Language Teaching and Language Acquisition:The Interdependence of Theory,Practice and Research[C].Washington,DC:Georgetown University Press,1990:309～316.的研究发现通过录像故事训练听力的学生要比没有视觉辅助的学习者进步更快。Secules et al.(11)Secules,T.,Herron,C.,& Tomassello,M.The effect of video context on foreign language learning[J].Modern Language Journal,1992,76(4).则发现在外语学习中，在教师引导下以视频为主要教学材料(teacher-managed videotaped instructional materials)的班级，其听力理解能力显著高于采用传统的教学方法(即包括一系列课堂操练)(12)可以理解，一系列的课堂操练主要是“听”的输入，缺乏甚至没有视觉输入。的班级。

但是，在听力理解过程中，使用多模态的输入方式需要考虑认知限制(cognitive limitation)与工作记忆(work memory)的联系。在听力理解中加入视觉模态信息不仅能通过同时激活视听通道而增加工作记忆的容量，而且有助于集中学习者的注意力(13)Chen,I-Jung & Chang,Chi-Cheng.Content presentation modes in mobile language listening tasks:English proficiency as a moderator[J].Computer Assisted Language Learning,2011,24 (5) .。学习者也确实能够同时加工多种来源的信息，而且当多模态输入合理配置(integration)时，大多数情况下会有利于学习。另外，如果是激活工作记忆的不同区域去加工不同类型的信息，并且这些不同类型的信息可以由多种加工方式实现时，对于这种情况，学习者能够很好地处理；但学习者若只激活工作记忆的某一区域，在需要同时加工相似的信息时，这时学习者的认知效率明显受到影响，而且可能遗漏一些信息。(14)Tardieu,Hubert & Gyselinck,Valérie.Working memory constraints in the integration and comprehension of information in a multimedia context[A].In Oostendorp,Herre van (ed.),Cognition in a Digital World[C].New Jersey:Lawrence Erlbaum Associates,Inc.,Publishers,2003:3～24.

2.视听多模态输入对二语词汇习得的影响

视听多模态输入不仅促进学习者的听力理解，而且还有利于二语词汇习得。在二语学习中，视听多模态输入提供了一个类似处于目标语言的学习环境，此时，词和短语的学习不是简单地在母语和目标语言间对译，而是在学习过程中同时融入了词和短语的语义、句法、语用信息，这样的词汇学习才能让学习者最终获得接近于母语者的语法能力(grammatical competencies)(15)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).。范烨(16)范烨.视听双重输入模式下的二语词义习得[J].外语界,2014,(5).的研究也证明了视听双重输入模式有利于二语词义习得，研究发现，在视听双重输入的模式下，修读大学英语课程的中国大学生的词义推断能力比只接收音频输入的学习者更强，“叙事表意的视频画面有助于学生正确猜测同步音频解说词中目标词汇的词义”。此外，Weyers(17)Weyers,Joseph R.The effect of authentic video on communicative competence[J].Modern Language Journal,1999,83(3).、Lin(18)Lin,Phoebe M.S.Investigating the validity of internet television as a resource for acquiring L2 formulaic sequences[J].System,2014,42.等的研究都证明了视听多模态学习方式能更有效地促进词汇学习。

二语词汇学习的成功与否也很难绕开对字形/词形的识记。仅以英语作为第二语言的学习为例，在英语词汇学习过程中，必须识记不同的单词和短语。智索(19)智索.视听双通道同时识记英语字母效率的实验研究[J].外语电化教学，1985,(4).的研究表明，视听多模态输入的方式能够有效提高识记单词字母的效率。智索考察了中国英语学习者视听双通道同时识记无意义的音节(20)如“YUC、ZIN、QOM、LEQ、TAJ”等。中的字母的记忆效率问题，研究发现，视听双通道同时识记英语字母的效率优于视、听单通道呈现和视、听交错呈现，而且若想长时记忆英语字母，视听双通道同时识记英语字母的优越性也很明显。但是，王萌、谢小苑(21)王萌,谢小苑.视听材料对听力理解和词汇习得的影响[J].外语电化教学,2008,(2).的研究表明，视听材料虽可提高学习者对目标内容的理解，进而提升听力理解能力，但是对词形的记忆却起阻碍作用。其实，再仔细对比这两种观点，发现它们并不矛盾。词形识记的效果和视频呈现的画面有很大关系，智索的研究中视频呈现的画面只有无意义的音节，加之这些无意义的音节又属于有标记的形式，因此学习者的认知焦点就主要集中在这些有标记的音节形式上，自然其识记效果会比只接收听觉输入的效果好。但是王萌、谢小苑的研究中视频信息是对词义的一种补充，学习者根据视频内容可以更好地理解词义，但是其认知焦点更多地放在了视频信息的理解上，在词形的记忆上却形成了认知负荷，因此阻碍了词汇习得的记忆。

3.视听多模态输入对二语习得其他方面的影响

需要指出的是，虽然视听多模态输入的方式将二语学习者置于更加真实、更富有文化信息的语言学习环境中，但视听多模态输入的优势效应更多地是体现在听力理解、口头表达(22)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).以及词汇习得(尤其是词义理解)上。在句法结构学习方面，“(相对于视觉单模态学习，)加入听觉模态的多模态任务……却无助于句法结构的学习。……语音信息的激活与句法形式加工无直接关联，可视为冗余信息，对句法结构学习无积极效应(23)洪炜 吴安婷 伍秋萍.任务的模态配置对汉语二语文本理解、词汇和句法学习的影响[J].世界汉语教学,2018,(3).。”

另外，值得注意的是，正是由于视听结合的输入方式能够有效促进学习者二语学习，在教学中也逐步引入视听双重输入的教学模式，这主要体现在视听说课的开设上。视听说课是20世纪80年代中后期出现的一种课型(24)郭泠.对外汉语初中级视听说教材选材分析——以三部教材为例[D].北京大学硕士学位论文,2011.。“视听说课充分发挥电教媒体的作用，应用现代化教学方法，能快捷地训练学生的听说技能(25)徐登科.语言习得机制与视听说教学[J].国外外语教学，1998,(1).。”以汉语视听说课为例，与传统课型相比，以多媒体技术支撑的汉语视听说课为学习者提供了更为优越的原生态汉语环境。由于视听说课提供的输入方式是多媒体的，除文字信息外，还有图像和声音信息，信息输入的口径得以扩大，对学习者而言，能看懂、听懂的更多，信息输入更多(26)刘立新 邓方.读图时代的视听说教学——以《汉语视听说教程——家有儿女》的教学实践为例[J].国际汉语教学研究，2017,(2).。另外，从语言习得启动机制的角度来看，真正自然的口语是启动语言习得机制的最佳输入(27)徐登科.语言习得机制与视听说教学[J].国外外语教学，1998,(1).，而视听说教学的输入内容相比其他单模态的输入内容来说，提供的是更真实地道的语言输入，因此视听说多模态输入的教学方式能够为学习者提供更优质的输入内容。

但是，视听多模态输入并不是对所有学习者都“放之四海而皆准”，幼小儿童比年长儿童和成人学习者更适合视听多模态的输入方式，高视觉风格的学习者更能从视听多模态输入中受益(28)张彤，赵翠霞，郑锡宁.基于认知理论的多媒体教学界面设计研究[J].心理科学，2004,(11).。就语言水平而言，视听多模态输入对语言水平较低的学习者帮助更大(29)孔文,王淑琼,周芸,陈艳艳.视频信息对EFL听力理解影响的实证研究[J].外语电化教学,2011,(5).。因此，相比单模态的“视”或“听”，视听多模态输入虽然可能具有“1+1 >2”的优势效应，但我们还需进一步细致深入地探讨视听多模态输入的优势效应和劣势效应具体体现在哪些方面、多模态输入主要针对什么类型的学习者、视听相结合的环境制约因素以及不同模态应该怎样配置才能让学习效率最优等问题。

(二)二语视听多模态输入难度的影响因素

视听难度的考察不同于语料文本难度的考察。由于视听输入是一种多模态输入，除文字信息外，还涉及到图像、声音信息等，因此，考察视听难度的影响因素时，应充分关注视听的多模态性质，语料文本难度只是影响视听难度的部分因素。

现有的研究主要从两个大范畴考察视听难度的影响因素，即学习者因素和视听语料因素。如果从认知的视角看，可以认为视听语料因素是影响视听难度的典型特征，而学习者因素是非典型的。视听语料因素又可以分为语言因素和视听特质因素这两个次范畴。视听语料的语言因素主要是从视听语料本身，即文本难度的角度来考察视听语料的难度。视听特质因素则指相比传统的听力教学而言，视听教学所具有的特殊之处，最典型的视听特质因素是从兼具视觉因素和听觉因素这两个方面来考虑的。

1.学习者因素

就学习者自身状况而言，显然，学生语言水平是影响视听难度的重要因素。学生的词汇量、语法掌握情况、对长句和复杂句式的把握能力、修辞的理解等语言因素直接作用于视听语料的难度考量(30)郭泠.对外汉语初中级视听说教材选材分析——以三部教材为例[D].北京大学硕士学位论文,2011.，进而影响学习者对视听难度等级的评判。学习者在视听之前，听前准备活动能够有效促进学习者的视听理解，一定程度上降低视听难度，比如听前词汇准备就是一种既易于在教学中付诸实践又能有效促进学习者视听理解的一种支架式(scaffolding)帮助(31)Chung,J.M.& Huang,S.C.(1998).The effects of three aural advance organizers for video viewing in a foreign language classroom[J].System,1998,26(4).。也有研究(32)肖庚生,程邦雄.词汇准备时间对外语视听理解及焦虑的影响[J].外语教学,2012,(6).进一步探讨了不同的词汇准备时间对外语视听理解及学习者焦虑的影响。一周的词汇准备时间对视听理解的促进作用最大，一天次之，30分钟最差；在缓解学习者视听焦虑上，一天的准备时间有助于缓解视听焦虑，30分钟次之，一周最差。所以，在外语视听教学中应给予学习者适中的词汇准备时间，不宜过长，也不宜过短，这样才能帮助他们降低视听焦虑、提高视听理解能力，一定程度上也降低了视听难度。

学习者自身心态积极与否一定程度上也会影响对视听难度的判断。在二语学习中，当学习者听到不熟悉口音的语料时，保持积极平和的心态，尽量减少对口音的在意度，这时候能够有助于理解视听语料的信息(33)Anderson-Hsieh,Janet.,& Koehler,Kenneth.The effect of foreign accent and speaking rate on native speaker comprehension[J].Language Learning,1988,38(4).。

2.视听语料因素之语言因素

视听语料因素是影响视听难度的典型特征。视听语料因素中视听语言难度从理论和常识的角度来看，可以认为是影响视听难度的最重要因素。需要注意的是，视听语料难度并不等于纯语料难度，对纯语料难度的研究，西方学界将其称为“易读性研究”。“按照克拉雷的说法，易读性指的是写作形式方面的易于懂得或理解，该项研究主要试图回答以下两个问题：1.究竟是哪些因素决定着语料的易懂或难懂？2.有没有一种方法可以测量出一篇语料在多大程度上易懂或难懂？”(34)张宁志.汉语教材语料难度的定量分析[J].世界汉语教学,2000,(3).。纯语料是视听语料的重要组成部分，因此，纯语料难度的研究方面也适用于视听语料难度的测量，只是衡量视听语料难度时需要考虑视听的特质因素。因此，相关研究在考察视听语料难度时，认为除了语料难度的因素，语速这一视听特质也是衡量视听语料难度的重要方面。比如张璐、彭艳丽对3套中高级汉语视听说教材的语料难度分析主要考察了5个语言难度要素，即平均每百字句长、平均每百字非常用词数、平均每百字生词量、平均每百字语言点数和平均每百字语速，这5个语言难度要素，前4个属于纯语料难度的考察范围，平均每百字语速属于视听特质因素。(35)张璐,彭艳丽.基于影视作品改编的中高级汉语视听说教材语料难度分析[J].世界汉语教学,2013,(2).姜书君(36)姜书君.《非诚勿扰——高级汉语视听说教程》语料难度研究[D].北京外国语大学硕士学位论文,2016.在参考张璐、彭艳丽(37)张璐,彭艳丽.基于影视作品改编的中高级汉语视听说教材语料难度分析[J].世界汉语教学,2013,(2).的5个难度要素的基础上，还考察了语言的规范化、情景因素、文化因素等。郭泠则将平均句长、词汇难易度、语速作为考察3部对外汉语初中级视听说教材语料难度的影响因素。(38)郭泠.对外汉语初中级视听说教材选材分析——以三部教材为例[D].北京大学硕士学位论文,2011.范烨的研究也发现视听语料中的生词率对视听难易度的感知和视听理解有显著影响。(39)范烨.语速、视频类型和词汇知识对外语视听理解的影响[J].外语教学,2016,(1).

3.视听语料因素之听觉因素

(1)语速

上文已指出，语速作为视听特质因素是衡量视听语料难度的重要指标。实际上，语速的快慢直接影响视听语料难度，其终极指向是影响视听难度。学习者普遍认为在二语学习听力中，最主要的问题是应对快语速(40)Graham,Suzanne.Listening comprehension:The learners’ perspective[J].System,2006,34(2).，然而，视频的语速并不是越慢就越能促进视听理解。如果视频速度太慢，听者需要延长信息在短期记忆内留存的时间并且需要花更多的时间去淡化记忆痕迹(memory trace)，进而可能影响大脑中记忆联系(mnemonic)的激活，导致记忆的衰退(41)Flaherty,Sister Etienne.Rate-controlled speech in foreign language education[J].Foreign Language Annals,1979,12(4).。而且，当语速从快语速(42)200 words per minute [wpm],3.8 syllables per second [sps].减慢到适中的语速(150wpm,2.85ps)时，有利于促进听力理解，但若再进一步降到慢语速(100wpm,1.93sps)，却并不能促进听力理解(43)Griffiths,Roger.Speech rate and NNS comprehension:A preliminary study in time-benefit analysis[J].Language Learning,1990,40(3).。也有研究(44)Blau,E.K.The effect of syntax,speed,and pauses on listening comprehension[J].TESOL Quarterly,1990,24(4).表明，如果学习者习惯以快语速为正常语速的话，降低语速并不能提高听力理解水平，不过这种情况对于水平较低的二语学习者可能不适用。

范烨(45)范烨.语速、视频类型和词汇知识对外语视听理解的影响[J].外语教学,2016,(01).的研究也表明，语速变化(140wpm,166～170wpm,195wpm)会影响难易度感知，但不会显著影响视听理解。

(2)口音

口音对母语者的听力理解和非母语者的听力理解都有重要影响(46)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).。Eisenstein & Berkowitz(47)Eisentein,M.R.,& Berkowitz,D.The effect of phonological variation on adult learner comprehension[J].Studies in Second Language Acquisition,1981,4(1).的研究表明，以英语为二语的学习者在听标准英语(standard English)时更容易理解，而听带外国口音(foreign-accented)的英语或者纽约工作阶层的英语(working-class New York English)时，听力理解的效果都不如标准英语的好。但是，如果二语学习者在听本国人说的二语时，似乎会比听其他口音更容易理解。比如Wilcox发现新加坡学习者在学习英语时，会觉得新加坡人说的英语更容易理解，而其他国家的人说的英语更难理解。(48)Wilcox,G.K.The effect of accent on listening comprehension:a Singapore study[J].English Language Teaching Journal,1978,32(2).Major et al.也发现西班牙语的学习者在听带西班牙语口音的英语时，听力理解能力会比听其他口音的英语的理解能力高。(49)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).但是印度学习者听美式英语的理解水平却高于听印度口音的英语(50)Smith,L.E.,& Bisazza,J.A.The comprehensibility of three varieties of English for college students in seven countries[J].Language Learning,1982,32(2).。

另一方面，口音对于说话人来说可能不容易改变，但对听者来说，听得多了却似乎容易习惯。研究表明，当学习者习惯某一种口音时，这时对听力理解并没有很大的影响，反倒这种习惯性会促进听力理解(51)Tauroza,S.,& Luk,J.Accent and second language listening comprehension[J].RELC Journal,1997,28(1).。这也说明，口音对听力理解的影响也应该进一步区分学习者水平、学习者年龄、学习者的学习时长等因素。

(3)语调(intonation)

语调属于超音质特征，是视听语料的重要组成成分，也是影响视听语料难度不可忽视的因素。我们知道，话语的语调对于话语的解读可能会具有举足轻重的作用。对于同一句话，如果语调不一样，可能会得到完全相反的意思(52)Cutler,A.Beyond parsing and lexical look-up:An enriched description of auditory sentence comprehension[A].In R.J.Wales & E.C.T.Walker (Eds.),New approaches to language mechanisms[C].Amsterdam:North-Holland,1976；比如“That was a thrilling experience.”如果语调不一样，就可以得出这个经历确实是激动人心的，或者也可以理解为是一种反话。。在听力理解中，语调可以为听者提供连贯的线索(consistent cue)，帮助他们整体上把握语篇的内容，体会语篇的感情基调(53)Barr,P.The role of discourse intonation in lecture comprehension[A].In Hewings,M.(ed.).Papers in Discourse Intonation[C].Birmingham:ELR/University of Birmingham,1990:5～21.。

但是，对话语语调的重视程度远远低于对语言中的语义、句法、词汇等方面的关注(54)Bock,J.K.,& Mazzella,J.R.Intonational marking of given and new information:some consequences for comprehension[J].Memory and Cognition,1983,11(1).。我们在检索语调对视听理解的相关文献时，不管是国内学者的相关研究，还是国外学者的研究，都非常少。在中国知网上输入“语调”一词检索，没有一篇文章是和二语视听理解相关的。对此，Hewings(55)Hewings,M.The English intonation of native speakers and Indonesian learners:A comparative study[J].RELC Journal,1995,26(1).认为一个可能的解释是由于语调本身的特征以及语调和声音的联系，这使得语调更容易和发音、言语产出联系起来，而更不容易和听力相联系，因此，对语调的考察也就常常缺失于听力理解这个大范畴。

4.视听语料因素之视觉因素

(1)字幕

字幕是视频的重要特质因素。但学界并没有直接探讨有无字幕以及字幕类型对视听难度的影响，而是关注字幕对视听理解的影响。如果仅就语篇理解而言，字幕视听的效果好于纯视听的效果(56)戴劲.输入方式、输入次数与语篇理解[J].外语教学与研究,2007,(4).。Markham,Peter & McCarthy调查比较了三种字幕使用条件对学习者理解视频内容所产生的影响，发现看母语字幕的被试组对视频内容的理解好于看目的语字幕的被试组，而看目的语字幕的被试组又好于无字幕辅助的被试组(57)Markham,Paul L.,Peter,Lizette A.,& McCarthy,Teresa J.The effects of native language vs.Target language captions on foreign language students’ DVD video comprehension.Foreign Language annals,2001,34(5).。而欧阳素珍(58)欧阳素珍.多模态输入对英语专业学生听解影响的实证研究[D].湖南师范大学硕士论文，2015.调查多模态输入对英语专业学生的听解影响后，发现视频配英文字幕的多模态组合对学生的听力内容理解促进最大，纯音频次之，视频配中文字幕的模态组合作用最小，研究结论和Markham,Peter & McCarthy的相左。Hsu et al.发现关键词字幕比全字幕更能促进视听理解和增强词汇习得(59)Hsu,C.-K.,G.-J.Hwang,Y.-T.Chang & C.-K.Chang.Effects of video caption modes on English listening comprehension and vocabulary acquisition using handheld devices.Educational Technology & Society,2013,16(1).。学者们基本上都认同有字幕可以促进视听理解，但我们不能就此反推字幕的存在降低了视听难度。或许正如Hsu et al.指出的那样，“读字幕是阅读，或有阻扰听解和听力发展之嫌”。学习者的视听理解很可能是通过阅读字幕获得的，并不是通过视听获得的，所以，字幕对视听难度的影响还有待进一步研究。

(2)视频类型

视听相比单纯的“听”来说，增加了“视”的成分，而“视”的信息主要通过视频来传达。不同类型的视频画面对学习者二语学习的影响并不一样。迄今为止的研究主要关注两种视频画面对语音输入的影响：一是内容视频(content visuals)，即包含凸显信息图像的视频；一是场景视频(context-only visuals)，即只显示说话者形象的视频，如脱口秀等(60)邱东林,李红叶.多种输入模式对听力理解和词汇记忆的影响[J].外语界,2010,(1).。内容视频提供了画面、物品、实景等丰富大量的信息输入，相比场景视频而言，可以显著提升学习者的整体理解水平；但并不能帮助学习者理解所听到的生僻词汇，甚至可能会干扰语音和词汇记忆(61)邱东林,李红叶.多种输入模式对听力理解和词汇记忆的影响[J].外语界,2010,(1).。而且，若内容视频的声画关系是一种分立状态(divergent category)(62)图像和解说词不相关或者可能是相互矛盾的。时，对于学习者来说，不仅很容易注意到，还会常常让他们一头雾水(63)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。场景视频由于只呈现谈话者形象或者固定的场景，学习过程相对呆板，有研究表明(64)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).，说话人头部特写(65)即图像上只呈现新闻播报者、采访者以及被采访者的头部或者上半身，不出现背景信息。(talking head)几乎不能提供额外的信息去促进听者的理解，相反，听者这时候倾向于将注意力放在纯粹的听解上。Coniam(66)Coniam,David.The use of audio or video comprehension as an assessment instrument in the certification of English language teachers:A case study.System,2000,27(1).也发现脱口秀的视听和纯听音相比，被试对内容的理解程度并无显著差异。但场景为现场讲座情景时，研究结果又不一样，Sueyoshi & Hardison研究讲座录像以及讲座录音的对比输入效果，发现观看讲座录像(录像中呈现演讲者的面部表情和身体语言或者录像中只呈现演讲者的面部表情)的学习者对讲座内容的理解明显高于录音组。(67)Sueyoshi,Ayano & Hardison,Debra M.The role of gestures and facial cues in second language listening comprehension.Language Learning,2005,55(4):661～699.讲座录像和脱口秀都只呈现说话者的形象，但两者和纯音频相比，实验结果并不一致，我们认为可能和这些场景视频的文本内容以及视频播放的目的等因素有关。虽然场景视频在促进理解上弱于内容视频的效果，但整体而言，相比纯音频，场景视频更能促进语言输入的理解。范烨(68)范烨.语速、视频类型和词汇知识对外语视听理解的影响[J].外语教学,2016,(1).的研究表明视频类型(新闻vs.演讲)对难易度感知和视听理解都有显著效应。

(3)声画关系

视频中不同类型的声画关系会影响视听理解，进而影响对视听语料难度的判判断。直接声画关系(指图像和语音说解具有很高的语义关联度)和间接声画关系(图像和语音说解之间存在部分语义冗余(redundancy)能够促进学习者对听力内容的理解；但说话人头部特写和分立的声画关系则不仅不能提升理解，甚至会妨碍理解(69)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。

Cross还指出，不管声画关系是如何配合的，视觉模态的信息或多或少会对学习者产生一定的干扰，因此，学习者会在学习过程的不同阶段根据自身情况主动调节，可能会倾向于从某一单模态地学习转向其他的单模态。(70)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).因此，从某种程度上来说，声画关系的配合，特别是不协调的声画关系，对于学习者来说可能反倒是一种认知负荷。正如前文指出的，当学习者面对较呆板的场景视频画面时，为了调节认知负荷，他们更倾向于只启动纯粹的“听”来获取信息。我们也可以推测，当视频信息和语音说解不协调甚至矛盾时，听者在迅速发现问题的情况下应该会倾向于启动“听”的能力来理解信息。写到这里，我们或许也能解释为什么二语教学中越来越重视视听多模态输入，可能的一个解释是：视听多模态输入的根本的落脚点还是为了尽可能地提升听的能力，进而提升整体的理解能力。所以，判断某个因素是否影响视听难度或许应该多注意该因素对“听”的难易度的影响，增加视觉模态从某种程度来说，还是为了促进“听”的感知和“听”的效率。

综上，我们发现，对视听难度影响因素的研究虽然较丰富，但仍有一些影响因素有待进一步证明，尤其是对视听特质因素的进一步探讨。除了上文我们谈及的语速、口音、语调、字幕、视频类型、声画关系等因素，噪音、视频中的场景音(背景音)等会不会也对视听语料难度有影响？我们知道，视听多模态输入相比视觉单模态和听觉单模态输入而言，其优势在于视听多模态的结合，视听多模态的优势又体现在视听特质因素上。因此，视听特质方面到底有哪些影响因素，需要进一步深入研究。另外，现有研究对某些视听特质因素是否影响视听难度并没有达成一致意见，比如字幕和视频类型对视听难度的影响，这也说明对这些视听特质因素的探讨仍需更进一步。

三、问题与展望

Chaudron & Richards认为对听力理解的研究不管是在一语学习还是二语习得中，都可以认为仍处于“婴儿期”(in its infancy)。(71)Chaudron,C.,& Richards J.C.(1986).The effect of discourse markers on the comprehension of lectures[J].Applied Linguistics,1986,7(2).如今时间跨越了三十多年，我们再来看今天的听力理解及其研究，发现多模态是今天听力理解的一大亮点也是研究中要多考量的因素，但多模态环境下的听力理解研究可能也是处于“婴儿期”，特别是国内在这方面的研究。

第一，国内对二语视听多模态输入的研究多集中于外语教学界(特别是英语教学)，汉语教学界不管是在二语视听多模态输入的研究及实践(如汉语视听说教材的编写、汉语视听说课的开设等)上，都有很大的发展空间。汉语二语视听语料难度的影响因素、视听语料的文本选取(包括语体、题材等)、汉语二语视听多模态输入对不同国别、不同年龄、性别的学习者的影响等，都是值得进一步深入探讨的问题。

第二，正如上文所言，多模态输入是二语听力理解乃至二语习得中的一种技术上和理念上的进步，多模态输入方式的应用也是适应社会进步发展的表现。Mayer还谈到多模态的呈现方式可以最大限度地发挥我们加工信息的能力，如果学习材料仅以听觉模态的方式呈现时，我们就忽视了我们还有一种潜在的通过视觉模态去加工信息的能力。(72)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:6.但是，我们也应注意的是，随着模态的丰富，在二语视听输入中要考虑的变量以及在研究中要控制的变量自然会更多。怎样才能使“多模态”的优势效应最大化，可能在尽可能全面考虑学习者因素、视听语料因素的情况下，还要重视模态的配置问题。Mayer(73)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:7.指出通过声音和通过图画并不能认为只是呈现同一材料的两种地位相当的的方式，听觉模态的地位与视觉模态并不相当。所以，我们认为，所谓的“多模态”不能是含糊而模糊的多模态，还应该继续追问具体的模态是怎么“多”起来的，是在听觉的基础上全程加上视觉模态？还是只在听力的部分过程加入视觉模态？抑或是在视觉模态的基础上加上听觉模态？如果是在听觉基础上加入视觉模态，视觉模态输入下内容的呈现方式对二语视听理解又有怎样的影响？(74)Alseghayer(2001)指出，相比静态的图片，动态的视频能更有效地促进生词学习。具体参见Alseghayer,K.The effect of multimedia annotation modes on L2 vocabulary acquisition:a comparative study[J].Language Learning & Technology,2001,5(1).而且，需要注意的是，不能简单认为视听多模态是二语视听学习中材料呈现方式的多模态，衡量是否是多模态学习更应该看重的是学习者能否达到输入的多模态，进而在多模态输入的基础上学得更深入(learn more deeply)。另外需要指出的是，在多模态输入上，对于不同的学习者，可能又应该具体问题具体分析，这样或许才能真正发挥“多模态”的优势。

第三，在考量二语视听多模态输入的影响因素时，视听语料是非常重要的一个因素，但视听语料的影响因素包括哪些还值得进一步探讨。视听语料难度可以说仍是一个较笼统的概念，而且考察视听语料难度时主要侧重的是文本难度。文本难度又包括很多的因素，文本的平均句长、生词量、语言点数、非常用词数等是一方面，文本的题材(叙述、说明、议论等)、文本的语体(是偏口语语体还是书面语体)、文本的篇章衔接等也是一方面。另外，如果再进一步考虑到视听语料的特质因素，不仅语速、口音、语调、字幕、视频类型、声画关系等是不可忽视的，甚至噪音、停顿、重音乃至视听语料中的说话者的性别(75)Markham(1988)的研究就发现，初级水平学生和高级水平学生在回忆听力内容时，相比说话者是非专家型的女性(nonexpert female speaker)，如果说话者是非专家型的男性(nonexpert male speaker)，学生能回忆起更多的内容。具体参见Markham,Paul L.Gender Differences and the Perceived Expertness of the Speaker as Factors in ESL Listening Recall[J].TESOL Quarterly,1988,22(3).、年龄等都是衡量视听语料难度的重要因素，而这些也是需要进一步深入研究的内容。另外，需要指出的是，学界目前也尚未得出影响视听语料难度分级标准。现有的研究多是根据几项难度等级标准去分析视听说教材的语料难度，而且所根据的难度等级标准也不尽一致。视听语料难度的衡量到底应该考虑哪些因素？影响视听语料难度的不同因素的具体权重如何？这可能需要在考察所有二语视听说教材以及不同类别的视听语料的基础上才能得出一个比较全面的衡量标准。另外，视听分级能否参照美国蓝思分级阅读框架(The Lexile Framework for Reading)，创制出一种类似于温度计的测量视听能力的标准，测量学生视听能力的同时，使用相同的标准测量视听语料的难度？这些研究课题任重而道远，需要学界不断的探索。

第四，O'mally et al.指出学习者在听力理解中使用的认知加工过程其实是和理论上的三个理解阶段对应的，即感知加工(perceptual processing)、语句分析(parsing)和实际运用(utilization)，而感知加工过程中的注意力是集中在听力内容上的，音频的声音只保留在回声记忆(echoic memory)中。(76)O'Malley,J.M.,Chamot,A.U.,& Küpper,Lisa.Listening comprehension strategies in second language acquisition.Applied Linguistics,1989,11(4).这就启发我们思考，视听多模态输入的听力内容到底应该包括哪些方面？在与听觉单模态输入有着相同的听力文本的情况下，视听多模态输入的听力内容应该怎么设计才能帮助学习者更有效地集中注意力？我们认为，视听多模态输入方式下听力内容的独特性，可能恰恰是能充分体现视听多模态输入方式优势效应的方面；但就我们目力所及，鲜有研究探讨了视听多模态输入方式下的听力内容的问题。

最后，在听力理解中，学者们通常倾向于认为以下5个因素可能会影响听力理解的效果，即1)听力/视听的文本特征；2)听力对话中说话者的特征；3)听后所要求完成的任务类型；4)学习者的特征；5)学习者的认知加工过程以及学习者和听力/视听中的说话者的互动情况(77)Rubin,J.A review of second language listening comprehension research.The Modern Language Journal,1994,78(2).。结合本文的评述，我们发现，现有的研究或多或少都和以上5个方面沾了边，但还有较多的研究视角目前并无多少涉及，比如听后所要求完成的任务类型对视听理解的影响，学习者和视听中的说话者的互动情况等，这些进一步说明二语视听多模态输入的研究范围和视角仍有极大的扩展空间。但是，正如上文指出的，进一步探讨的空间虽大，但模态的增加更应该细致考察涉及的变量和变量的控制问题，从主体(学习者)和客体(视听多模态输入)这两方面细致剖析可能涉及的变量，然后在考察影响因素的过程中，尽可能严格地控制变量，这样得出的研究结论才能具有更高的信度。

总之，社会的进步、时代的发展催生了多模态输入和多媒体的应用，而且多模态输入和多媒体的应用甚至也可以理解为是对学习者的一种技术层面的人文关怀，因为多模态学习某种程度上和真实环境下的语言学习相似，而这两种环境下的输入方式又都强调了听者和言者的互动。但具体怎么实施多模态和多媒体，特别是教学领域的多模态和多媒体，或许二语视听的深入研究能够成为多模态输入和多媒体应用的一个范式。而且随着互联网技术的发展与人工智能技术的进步，二语教学与学习也越来越重视跟随时代的步伐，强调改革传统的教学模式和学习方式，希望通过技术进步来提高教学和学习效率。二语视听多模态输入也在这样的大背景下受到学界和产业界的关注。当然，视听多模态输入的进一步发展需要学界和产业界的共同努力，学界提供更多的研究证明，产业界不断优化技术。可以预见，未来视听多模态输入将成为越来越大众化和受欢迎的二语学习模式。

四、 结 语

国内外二语视听多模态输入研究主要基于输入假说和认知负荷理论，在视听多模态输入对二语习得的影响以及二语视听多模态输入难度的影响因素等方面有较深入的研究成果。总体而言，视听多模态输入相比传统的单模态输入，在二语听力理解、二语词汇习得等方面具有显著的优势，但视听多模态输入的优势效应具体体现在哪些方面、所谓的“多模态”应该如何配置等问题还需进一步研究。视听多模态输入难度的影响因素不仅和学习者有关，还和视听语料因素有很大的关系，语料因素又包括语料的语言因素、视觉因素、听觉因素等，但是，视听特质因素对语料难度的影响还有待进一步深入研究。

我们认为，二语视听多模态输入的研究虽取得了较大进展，但仍存在很大的拓展空间，比如研究内容的范围还有待进一步拓展，而且在大数据的潮流下，视听语料难度的分级亟待得到一个相对科学的标准。不过我们也相信，随着学界和产业界对视听多模态输入的重视以及更加深入的挖掘，未来视听多模态输入将成为二语学习的一种类似“改革开放”的学习方式。而且，由于二语教学研究领域对多模态教学方式的重视程度逐步提高，研究方法也更加科学，实证研究与技术的使用越来越广泛，这种种优势因素将为视听多模态输入以及二语多模态教学研究的持续发展提供多方保障。