山丽萍

内容摘要：随着多媒体教学的兴起，视听资源得益于计算机辅助技术的发展开始被广泛运用于二语词汇教学，于是探究视听资源到底是否能促进二语词汇习得以及其如何对二语词汇习得产生影响成为了研究者们研究的热点。本文回顾了视听资源在二语词汇习得领域应用的研究并解释了其工作的原理，这将有助于教师更合理地组织视听教学资源，以达到最佳的词汇教学效果。

关键词：视听资源 多模态交互 双重编码理论 认知负荷理论

1.研究背景

随着全球化的发展， 人们越来越意识到掌握一门第二语言可以帮助他们在学业和职业发展中获取更大的优势， 而学习一门语言的关键和难点就在于掌握其丰富的词汇， 词汇的习得确保了人们在不同场合能进行基本沟通。自语言学建立以来， 二语词汇习得一直受到学者们的关注， 越来越多的二语词汇习得方法和辅助技术也得到研究和发展。这些研究成果促进了二语教学的发展， 为无数二语学习者和教学者节省了时间和精力。其中数字化技术的发展使得老师和学生可以不再被单一文本学习所限制， 可以通过视听学习从不同感官通道获取资源信息， 提高学习效率。

在视听学习中， 通过视觉通道可以获取文字， 图片等信息， 而通过听觉通道则可以获取言语， 声音等信息， 尽管这些视觉资源和听觉资源都可以传递一定的意义， 但在词汇习得领域， 它们并不都能发挥正向刺激效果， 有的甚至会对学习效果起到抑制作用， 因此学界对视听资源在二语词汇习得领域的研究一直未能达成一致的结果。如在Tripp和Roby （1994）的研究中， 作者基于超文本， 研究了听觉资源（pronunciation）是否能够促进二语词汇（日语）习得。实验结果表明， 相较图片信息， 声音信息并没有对词汇习得起到促进作用。作者分析其原因表示听觉资源相较于视觉资源更难被受试识别利用， 只有具有一定听力练习经验的学生才能利用听觉资源帮助记忆词汇。而在MallAmiri， Oghyanous， Zohrehvand （2017）的实验中， 作者探究了听觉输入强化（通过划线、粗体、斜体、大小写等策略突出目标材料）和视觉输入强化（通过研究人员大声重复， 使用提高的语调和音调突出目标材料）对母语为伊朗文， 二语为英语的受试学习非一致短语动词（non-congruent phrasal verb）的影响。实验结果显示相较于控制组既没有听觉输入强化也没有视觉输入强化， 实验组听觉输入强化组和视觉输入强化组在实验测试中都取得了比控制组更优异的成绩。这说明听觉资源输入和视觉资源输入对非一致短语动词的学习都具有明显促进作用。这些不一致的实验研究结果激励着更多的研究人员参与到视听资源对二语词汇习得影响的研究中， 为二语词汇学习寻求最优的学习和教学方法。

2.视听资源间的多模态交互

模态意指感官与外部环境的交互方式， 如果多感官通道被包含其中， 就可称其为多模态交互。因此， 多模态便具有多种符号资源包括口头文字， 书面文字， 图片， 图表， 空间以及其他可以传递意义的资源符号（Baldry &Thibault， 2006）。

Kress和Van Leeuwen （2001）也认为多模态话语（multimodal discourse）是一种包含了多种交互方式的话语模态， 包括声音， 文本， 图像以及其他可传达信息的资源。因此， 不难看出， 区分多模态和单一模态的关键就在于有多少种资源符号参与语篇的建设。在国内关于多模态的研究中， 朱永生（2008）， 李战子（2003）认为模态是信息交互的中介和通道， 它不仅包含文本， 也包含其他语义系统， 如图片， 声音， 颜色等。而在词汇习得研究领域， 研究者通常将多模态学习方式引入实验方案设计。通过让被试就目标词在不同模态下进行学习， 探索哪种模态或哪几种模态的结合更有利于词汇习得， 以此促进词汇习得研究的发展。

在Yeh和Wang （2003）的实验中测试了声音注解（sound annotation）对词汇习得是否有促进作用。在该实验中作者采用的声音注解方式是通过播放小段音频实现的， 其中包括了目标词汇的英语发音， 词汇拼读以及目标词所在句子的朗读（read the word + spell the word + read the sentence）。实验结果表明与文本组和文本+图片组相比， 文本+图片+声音组并没有在词汇习得测试中取得更好的成绩， 由此可见声音注解没有对词汇习得产生促进作用。作者分析其原因可能有二。一是受被试母语（汉语）的影响， 汉语文字属于表意文字， 因而在实验中被试会更加注意语言文字的视觉信息， 而忽视了通过听觉传达的声音信息， 从而导致了听觉资源的低效性;而是考虑到实验中添加的听觉资源可能语速过快， 被试没有足够的时间加工这些信息从而使得听觉资源对词汇习得没有起到促进作用。可以看出在多感官资源同时被被试接收时就会出现被试对资源加工的偏差， 这是由于对有限工作记忆的资源竞争引起的。

由此可见， 尽管视听资源的引入使得学习者不再受制于与学习材料之间的单一模态交互方式， 但是多种资源的加持， 学习者受限于有限的认知加工能力， 会将其认知和注意力的分配倾向于更易于理解和加工的资源。比如相对于听觉资源， 视觉资源更容易获得受试更多的关注也更易被识别加工。在对一语词汇习得的研究中， 有研究结果显示在听与读的对照实验中， 听比读更有挑战性， 受试并不能像轻易理解掌握视觉输入信息那样理解掌握听觉信息（Anderson， 1980; Rost， 1990）。在一语词汇习得中， 受试处理听觉资源尚且要比处理视觉资源付出更多的努力， 更不必说在二语词汇习得中， 听觉资源对学习者注意力的额外占有情况。因此在这种情況下， 多模态交互方式也许并不能帮助学习者实现更好的学习效果， 只有恰到好处的资源配比和交互方式才能帮助学习者实现学习效益最大化。

3.视听资源与双重编码理论

在多模态的学习情境下， 学习者必定要接受来自不同感官通道的信息， 这些不同的感知渠道导致了不同的交际模态（朱永生， 2008）， 其中最重要的两种交际模态就是听觉模态， 视觉模态。而学习者要对在多模态下接受的信息进行加工处理就必须谈到人的认知系统对信息的识别与加工， 即双重编码理论。

双重编码理论是Paivio （1986）在图式理论的基础上提出的一条关于言语和非言语信息认知加工和记忆的理论。它弥补了以命题表征为基础的图式理论无法描写新信息难以被理解和旧信息难以被激活的缺陷（黄文砚， 2018）。双重编码理论认为人的认知系统包括了言语和非言语两个系统。这两个系统彼此独立运行， 在言语系统中， 言语刺激主要包括了言语， 如口头交流， 文本朗读音频和文字等， 人们可以分别通过听觉通道和视觉通道对他们进行处理;而在非言语系统中， 非言语刺激主要包括了背景音， 音乐和图片等， 这些信息虽然会传递一定含义但不会传达出明确的指令或信息， 它们通常在情感层面上对人产生影响， 因此被归于非言语资源。对于这类资源， 人们也同样可以从听觉和视觉两个通道来对其进行编码处理（Paivio， 1991）。

在视听输入模式下学习二语词汇， 学习者会同时接收到言语信息（词汇发音， 文本音频和文字等）和非言语信息（图片， 背景音等）。运用双重编码理论， 便可以了解二语学习者是如何对不同的试听资源进行理解和记忆的。双重编码理论认为彼此独立运行的言语和非言语系统在完成对信息的加工储存时都会经过三个阶段， 即表征处理阶段， 表征连接阶段和意义关联阶段（Paivio， 1986）。在第一阶段， 当学习者接收到来自外界的言语刺激和非言语刺激时， 学习者大脑中的言语表征系统和非言语表征系统会被立刻激活， 学习者便会立刻联想到与言语刺激和非言语刺激相关的表征信息。例如， 当学习者听到一个词时， 学习者能想到关于这个词的其他语言信息， 比如它的发音， 拼写和语义等;而在看到一张图片时能想到关于这个图片的其他图像信息， 比如它的环境， 场景等。在第二阶段， 独立的言语系统和非言语系统之间会产生参照连接， 使得言语系统在处理言语刺激时能获得非言语表征信息， 非言语系统在处理非言语刺激时也能获得言语表征信息。这就是学习者在听到一个词时能在头脑中产生与之相关的图像， 而在看见图片时能联想到与图片相关的声音的原因。在第三阶段， 也就是意义关联阶段， 由于言语和非言语表征被激活， 言语表征， 非言语表征以及它们两者之间都会产生连接， 一旦学习者获得言语或非言语刺激传达的某一个意义， 紧接着与之相关的意义便会被迅速激活， 由此一传十， 十传百， 最后形成庞大的意义关联网络。并且当新的语义一致信息同时在言语和非言语系统中编码时， 来自一个系统对信息的识别和记忆可以作为线索来帮助激活另一系统对信息的识别和记忆。由此可见， 言语系统与非言语系统既各自独立又相互联系， 它可以在视觉心理表征和听觉心理表征之间建立联系以此对语言进行解码处理。

在视听输入模式下， 言语和非言语系统保证了学习者在获得多种类型资源时能快速地对其进行解码处理， 这也是试听资源之所以能帮助学习者达到更快速准确地习得二语词汇的原因。

4.视听资源与认知负荷理论

认知负荷理论首次由澳大利亚心理学家Sweller （1988）年提出， 该理论是在工作记忆模式的基础上延伸而得， Sweller认为那些使学习变得不必要复杂的因素， 或使我们从试图关注的信息中分心的因素， 会增加一个人在处理信息时的认知负荷， 较高的认知负荷会让学习者更难以集中注意力、更难对信息进行记忆和处理， 使得学习效果更差。此外， 认知负荷理论（Sweller， 1994）如还通过解释工作记忆在容量和持续时间上的局限性， 为视听资源教学在二语词汇中的运用提供了指导。

在多模态学习模式下， 视觉资源与听觉资源在双重编码的处理下， 既会相互建立联系， 实现对信息的解码， 但它们彼此也会形成竞争关系， 因为学习者短时间内对信息资源的加工能力是有限的， 在此过程中， 通过文字和图像呈现的信息往往会与通过声音传递的信息形成竞争关系， 加大学习者的认知负荷， 从而降低学习效果。此外不仅视觉资源和听觉资源之间会产生竞争， 各类视觉资源之间和听觉资源之间也会产生竞争。如Kaplan-Rakowski 和 Loranc-Paszylk （2019）在实验中探究了言语听觉资源（词汇发音）和非言语听觉资源（声音特效）对二语词汇习得的影响。他们在其实验中比较了添加言语听觉资源， 非言语听觉资源， 和同时添加言语与非言语听觉资源这三种情况对二语词汇习得的影响。结果显示只有添加非言语听觉资源對二语词汇习得产生了显著影响， 而添加非言语听觉资源和同时添加这两种听觉资源都没有对二语词汇习得产生显著影响。作者在解释同时添加两种听觉资源却没有取得更好的学习效果时提出这是因为学习者即时处理信息的能力是有限的， 两种听觉资源极增大了学习者处理信息的心理负荷， 使得结果适得其反。

由此可见， 在运用试听资源帮助学习者习得二语词汇时， 不仅要考虑视听资源之间的占比， 也要考虑各类视觉资源和各类听觉资源之间的取舍。一味地添加各类资源不但不会有助于二语词汇习得， 还可能产生抑制效果。

5.结语

本文回顾了视听资源在二语词汇习得领域的应用情况， 对二语词汇教学具有一定启示。教师在选用视听资源时， 除了要考虑何种类型的资源对二语词汇习得有更好的促进效果， 还要考虑各类资源之间的配比问题。只有资源配比例得当才能尽量避免各类资源之间出现对有限的认知和记忆能力产生竞争关系， 加大学习者的认知负荷， 从而降低学习效果。而关于试听资源配比的定量研究也正是研究者们需要继续探索的问题。

参考文献