胡　璐

(成都信息工程大学 外国语学院,成都 610000)

0　引　言

多模态需要听觉、视觉等不同感官的参与，需要利用语言、图像、声音等不同手段。在计算机网络等教学技术的不断发展和多模态话语分析理论不断完善的新环境下，计算机辅助教学越来越广泛。把多模态应用于教学，可以让学习者充分利用自己的感官来学习。如果学习者大脑皮层相应的机能区受到多渠道信息共同刺激时，反应要比受到单一渠道信息刺激时剧烈，正效应条件更有助于学习者加工、记忆信息，从而增强学习效果[1]。可是多模态学习具有双重作用，如果不能恰当处理会使学习者的注意力被分散，知识点记忆容易被干扰。大脑的工作记忆容量有限，因此人们几乎无法对各个渠道的信息进行同时加工。为了防止工作记忆负荷的负效应产生，需专门处理一下材料的表现方式的。本实验通过分析英语专业听力教学多模态功能，旨在为英语听力教学提供参考。

1　相关研究回顾

对听力教学中多模态应用的实验分析在国内外都取得了一定的成绩。国外方面的成绩主要有： Lambert等[2]的相关实验证明，学习者运用的学习材料和得分有很大关系，若采用母语配音结合二语字幕的听力材料，学习者的得分居第一位，若采用二语配音结合二语字幕的听力材料学习中得分居第二位，而二语配音结合母语字幕的听力材料对学习者的听力理解几乎没有帮助。Baltova[3]的实验发现，在进行听力教学时，当视频被结合有二语字幕的时候，学生记忆听力材料的效果最好。Malisz等[4]的实验表明，多模态组合对学生理解听力材料有很大的促进作用，与母语字幕相比，二语字幕对学习者听力学习效果更佳。Dominguez等[5]的实验同样证明，在学生理解听力材料时，多模态模式有着积极的影响，可是模态不同期作用方式也就不一样。国内方面的成绩有：龙宇飞等[6]对元认知策略和多模态交互作用在听力中的作用进行实验。李欣等[7]研究了多模态自主听力教学模式的有效性，研究证明多模态能使学生的听力水平、多元识读能力都有很大的效果。

这些研究较少对在听力理解中，各个多模态组合的作用程度进行相关分析，对各个模态在英语专业听力教学中具体应用效果也关注较少。本实验主要对英语专业听力教学多模态功能进行分析。

2　实验设计

2.1　实验问题

英语专业听力教学多模态功能，主要实验问题：①在英语专业听力教学中多模态对学生理解听力材料的能力有无效果？②在听力理解中视频、图像的优势与缺陷是什么？③在听力理解中汉语及英语字幕有怎样的优势？④在听力理解中汉语及英语字幕的影响达到怎样的程度？

2.2　实验对象

本实验选取我校英语专业二年级4个班级的学生。在各班随机分别选择40名学生，分为4组。参与实验的学生在二年级上学期期中、期末考试中的成绩单因素方差分析结果是，4组学生之间没有显著差异(F=0.002 9，P=0.882>0.05；F=0.076，P=0.895>0.05)，也就是说4组参与实验的学生英语水平在总体上无明显差异。在实验过程中，每组学生的听力材料都用不同的方式进行播放。把听力材料是音频(听觉模态)形式的作为对照组，把听力材料是音频、视频但没有字幕(听觉、视觉模态)的作为实验一组，把听力材料是音频、视频并配有汉语字幕(听觉、视觉模态)的作为实验二组，把听力材料是音频、视频但是配有英语字幕(听觉、视觉模态)的作为实验三组。

2.3　实验听力材料、方法、步骤

所使用的听力材料是一段5 min左右(415个词)的美国之音新闻视频，介绍的是华盛顿特区的国家肖像画廊。在画廊墙上贴的是在美国西部发展过程中有着重要影响的人物、事迹，例如刺绳的发明者Joseph Glidden[8]，牛仔裤的发明者Levi Strauss[9]，国家公园、国家森林的主建筑者Theodore Roosevelt[10]，还有作家Samuel Clemens[11]这位第一次把西部人的心声带到美国文坛的人等。这一画廊把美国西部80多年间的重大历史事件都完整的呈现出来。此外，依据本实验要求，特殊处理了这段视频。

只运用音频； 同时运用音频、视频但没有字幕；同时运用音频、视频但字幕是汉语；同时使用音频、视频但字幕是英语，这4种听力材料的播放方式是这次实验的变量。把学生所做的听力大纲作为研究的依据。

用不同的方式向4组学生播放听力材料。每次实验都同时进行，并严格按照实验步骤进行。实验步骤为：首先教师把本次实验的过程、目标以及注意事项介绍给学生，接着首次进行听力材料的播放，在听的过程中学生需要做汉语或者英语笔记，当首次播完后，学生要在6 min的时间之内检查好做的大纲，接着再次播放听力材料，这次依然需要写大纲且自我检查，最后再给学生20 min的时间对大纲完善整理[12]。

2.4　收集、分析数据

进行数据分析的依据是学生的英语大纲所含语义单位个数。邀请5位教龄超过7年的英语专业教师、3位英语外教成立专门小组，听力材料的语义单位进行统计。最终把听力材料分成41个语义单位。语义单位有新闻主题、内容、主要人物以及事件等。依据学生的听力概要进行4种听力材料播放方式在学生听力理解中的作用研究，有助于对在听力过程中各种模态在学生认知中的作用，汉语、英语字幕的作用进行有效分析，从而得出每种模态的优缺点[13]。

在统计语义单位数量时，对于只把与语义有一定联系的单词、短语、句子写出来的情况，纵使他们的语法不确切，仍然视作掌握这一语义单位信息，要把这些统计进去。各组的单项语义单位成绩是各组写出语义单位的学生数。用统计软件SPSS19.0进行数据分析和统计处理，进行单因素方差分析以及Post Hoc事后多重检验，同时参考对实验组学生进行随访的结果。把0.05作为显著性水平标准。

3　结果分析

3.1　在听力理解中不同模态的影响

运用单因素方差分析统计分析学生的成绩，来研究在听力理解中不同模态的影响有无明显差异(见表1)。

表1　在听力理解中不同模态的影响

从表1中可以看到，在听力理解中不同模态的播放方式之间具有具有明显差异(F=28.994，P=0.000<0.05)。实验三组的多模态在学生的听力理解中作用最大，实验二组的作用是第二，实验一组的作用是第三，对照组的作用最小。运用Post Hoc进行事后多重检查(见表2)。

表2　Post Hoc事后多重检查

从表2中的同等条件下的规律对比情况,我们可以得出:实验三组的分值比其他组高,实验二组的分值比实验一组高。也就是说在学生听力理解中，有英语字幕的听觉、视觉模态功能最强，然后有汉语字幕的听觉、视觉模态功能第二，无字幕的听觉视觉模态功能第三，单独的听觉模态功能最弱。

3.2　各模态的作用程度、利弊

3.2.1音频

当前音频已经被广泛应用于英语专业听力教学中，成为学生进行听力理解的主要媒介，并发挥着积极的影响。但是大量研究表明，单独使用听觉模态的教学效果与多种模态相比效果较差。随着计算机网络技术、多模态理论的不断发展，多模态在英语听力教学的功能发挥一定会更加完善。

3.2.2视频

国内外的大量实验表明，对短期记忆而言，视觉信息效果较好。在听力理解中，当各感官共同参与时，听力信息就会通过不同的途径向大脑传播，然后大脑把获取的这些信息进行整理完善，最终形成感觉统合，这样听者对信息的理解认识效果更好[14]。本研中综合运用多模态要不只是用听觉模态更能促进学生对听力材料的理解。但视觉模态并不是在所有的情况下都会促进听力材料的理解。

3.2.3字幕

在听力理解中，特别是当听力材料中存在容易让听者产生误解的信息时，字幕则发挥这重要的作用。本实验表明，当听力材料相同，学习者的英语水平不存在较大差别时，如果使用英语字幕，那么学习者更容易获取听力信息。究其原因，主要是用汉语字幕来展示英文材料会出现语义理解发生偏差的问题。

4　实验讨论与体会

本实验与有的实验结论存在差异，可能主要是下面几方面的因素引起的：①研究对象的文化背景知识不同。在本实验的听力理解中，当学生遇到与西方文化有关的语义信息单位时，对其理解较为困难，特别是对那些包含人名、地名等术语的听力材料，大多学生必须通过英语字幕才能获取所需要的信息。②研究对象的英语水平不同。本实验的参与者是我校英语专业大二学生，他们都具备一定听力基础。而有的实验参与者是非英语专业的学生，而且听力基础比较薄弱。所以，在进行多模态英语听力教学的时候，要依据教学内容所涉及的领域，学生的知识能力结构、兴趣等来选择听力材料的播放方式。

如果学生一直处于动态的认知过程中，并且以自己已经掌握的知识为依据去进行假设、检验，那么学生的听力理解能力就会增强。就像本实验中，在听力理解过程中，视觉模态通过提供和听觉信息相应的背景知识，使学生的认知水平提高，使学生的听力能力增强。然而，当视觉信息和听觉信息无法相适应时，就会出现学生无法正确认识，并且注意力分散的状况，学生也无法获取有效的听力信息。对此，在英语专业听力教学中，教师一定要把各个模态之间的协同、强化、互补关系理解透彻，从而使其真正促进教学效果的提高。当各个模态之间相互矛盾、相互无关或者互不衔接时，会阻碍教学效果。因此，所选择的模态一定是拥有正效应的。

当发生母语负迁移时，学生对听力材料中的语音、词汇、语法等的加工与输出必将受到严重阻碍。所以，在英语专业听力教学中，学生既要接受必要的听力基本能力训练，又要不断充实自己的英语基础知识，提升自己的英汉对比能力，增强自己的跨文化意识，夯实自己的跨文化交际能力，最终使母语的负迁移对自己的影响达到最低[15]。

另外，当不同来源的信息同时向学习者袭来时，学习者通常会因为信息量太大，而不知到怎样才能有效加工、输出信息。所以，教师要帮助学生形成利用不同模态去接收、处理信息的能力，要多进行多元读写训练，最终使学生的英语学习水平不断提高。

本实验充分证明了多模态组合在英语专业听力教学中的功能，所以，在具体的英语专业听力教学中，教师要做好以下几方面的内容：①以学生为主体，破除传统的听力教学模式。运用多模态的听力教学方式，能在一定程度上提高学生的学习热情。本实验中听力材料以4种不同的方式播放，学生需要自行检查自己缩写的英语提纲，都有助于提高学生的学习兴趣。在实际英语听力教学中，教师可以让学生自己搜集听力资料，内容可以是当前国内外的时政热点，可以是经典的英语电影，可以是具有权威性的英语新闻，这样当教师在播放听力材料的时候学生就会更加的专注，从而也有助于学生获取听力信息。学生也会由过去的厌倦听力到热爱听力，教师甚至可以在学生听力训练之后设计一些诸如猜词、填词等小游戏，并给予在游戏中表现优异的学生一定的奖励，使学生在轻松愉快的课堂气氛中运用自己的视觉、听觉等感官系统，对刚才的听力材料进行深入的了解。②教师要发挥其主导作用。多模态听力教学模式对教师提出了新的要求，学生搜集的听力资料多种多样，教师需要不断学习，进而能够了解当前的时事政治、热门话题等，能够有效评价学生在多模态教学模式下的听力训练结果、游戏环节表现等。听力理解是一个复杂的过程，涉及的文化等知识很多，所以教师要在多模态听力教学模式下，对学生进行必要的理论指导，从而提高学生获取信息的能力。③不能把多模态听力教学模式等同于传统的视听说教学模式。多模态听力教学模式是不同感官系统共同参与，学生大脑皮层相应的机能区受到多渠道信息共同刺激，通过信息整合获得所需要的信息，在实际的课堂教学中，学生会积极主动的参与到整个教学过程中，既调动了学生进行听力理解的兴趣，还有助于获得所需要的信息。传统的视听说教学模式学生被动接受，各种模态没有主次，最终导致顾此失彼。在英语专业听力教学中运用多模态，不只是增强学生的听力理解能力，还使学生逐渐形成自主学习的习惯。在本实验中我们认识到了多模态在英语听力理解中的功能，所以教师在教学过程中，要以学生为主体，从学生的实际出发，充分利用多模态在听力教学中的重要作用，恰当的利用多模态听力教学模式，真正提高学生的英语听力理解能力。

5　结　语

本实验证明，在英语专业听力教学中运用多模态可以极大地增强学习者的听力能力；只要把视觉信息、听觉信息对应起来，就会产生正面作用；与汉语字幕相比，英语字幕对英语听力理解效果更佳，原因是汉语字幕会产生更多的词汇干扰。

本实验分析的只是依据一个样本的结果，加之参与的学生都具备一定的听力基础，实验存在一定的局限性。以后会以听力能力较差的学生为对象进行实验，从而进一步分析多模态对不同对象英语专业听力学习效果的影响。

参考文献(References)：

[1]张长颉. 基于多模态隐喻构建飞行专业英语听力教学策略的效力分析[J]. 牡丹江教育学院学报,2013(2):105-107.

[2]Michael J. Lambert. Bergin and Garfield’s handbook of psychotherapy and behavior change.[M]. Wiley, 2004.

[3]Iva Baltova. The effect of subtitled and staged video input on the learning and retention of content and vocabulary in a second language [microform][J]. Collectionscanada. gc.ca. 1999, 6(1, article 3):1-9.

[5]Dominguez C, Boelens R, Bonvin A M. HADDOCK: A protein-protein docking approach based on biochemical or biophysical information.[J]. Journal of the American Chemical Society, 2003, 125(7):1731.

[6]龙宇飞, 赵璞. 大学英语听力教学中元认知策略与多模态交互研究[J]. 外语电化教学, 2009(4):58-62.

[7]李欣,李玫瑛,王佳子. 多模态自主听力教学模式有效性的实证研究[J]. 解放军外国语学院学报,2012(6):59-64,126.

[8]Mangum Wyatt.Past pieces: The first bellowed smoken produced by A.I. root[J].Bee Culture,2003,131(7):47-49.

[9]Levistrauss C. Guillaume Lecointe & Herve Le Guyader, Classification phylogenetique du vivant[J]. Homme Revue Française Dantropologie, 2002: pgs. 309-311.

[10]Anderson G L. Ten years of leafy spurge biological control attheodore roosevelt national park, medora, north dakota(abstract)[C].//Proceedings of the 20th Biennial Workshop on Aerial Photography,Videography,and High Resolution Digital Imagery for Resource Assessment. Biological Control, 2005.

[11]Richard Lederer.The word and Mr. clemens[J].USA Today,2010,139(Nov. TN.2786):82.

[12]杨晓瑜.CET-4改革下的新闻听力教学现状及策略探索[J].广西科技师范学院学报,2017(5):35-37,45.

[13]甘时源.认知视角下英语新闻听力理解的策略研究 --针对非英语专业英语学习者的实证[J].长春大学学报(自然科学版),2017(5):91-94.

[14]沈丽萍.初中英语教学中分层教学法的应用探索[J].校园英语(下旬),2017(10):169.

[15]王蕾.浅议英语专业学生口语发音对听力的影响[J].海外英语(上),2017(10):50-51.