谢和平,王燕青,邓素娥,周宗奎

(1.华南师范大学基础教育学院,汕尾 516625;2.华中师范大学心理学院,武汉 430079;3.深圳大学附属教育集团后海小学,深圳 518067)

“听”、“说”、“读”、“写”被视为个体的基本技能,大量精力被用于发展它们以帮助记忆。20世纪70年代,生成绘图(generative drawing)对记忆的影响开始被关注(Paivio &Csapo,1973);但相比上述基本技能,研究者对生成绘图关注较晚且前期关注度不高。直至Ainsworth等(2011)在《Science》发表评论文章强调生成绘图的重要性,该领域研究热情才真正被点燃。近十年来,生成绘图影响记忆的探索进展较快。在介绍生成绘图概念的基础上,文章从简单词语和复杂文本两个方面对生成绘图影响记忆的实证和理论研究及其问题进行述评,以期为生成绘图后续研究和应用提供参考。

1 何为生成绘图?

生成绘图也称自我生成绘图或学习者生成绘图,简称绘图。采用生成绘图策略的记忆或学习效果好于其它策略的现象被称为生成绘图效应(generative drawing effect)(Schmeck et al.,2014;Wammes et al.,2016)。Van Meter和Garner(2005)首次将生成绘图定义为:由学习者生成能用于准确描绘言语材料所指代对象的图像表征,旨在实现学习目标的策略。如,个体通过绘制“苹果”的图画以记住该词。该定义含两个要素。一,表征性图画(representational drawing),即个体将内部心理图像绘制后所形成的外部图画(如图画“苹果”)是表征性的,与言语材料(如词语“苹果”)所指代的真实对象具有物理相似性(physical resemblance)。二,学习者生成,即绘图主体是个体自身。绘图过程由个体亲手操作和完成,整个或部分图画的建构、绘制、修缮及最终形象由个体负责,而非全部由他人提供。

Quillin和Thomas(2015)对生成绘图的概念进行了补充阐述,认为:(1)生成绘图是将个体内部图像转换成外部模型的过程,其产物是视觉可见的外部图画。(2)生成绘图能在任意二维媒介上实现,绘图媒介是生成绘图的要素之一。综上,文章将生成绘图定义为:借助合适的绘图媒介,由学习者生成并绘制出能用于描绘与言语材料所指代对象一致的外显化的表征性图画,旨在实现有效记忆或学习等特定目标的策略。

2 生成绘图促进记忆?

以往研究主要以简单词语或复杂文本为材料考察生成绘图的记忆功效。相比词语等简单材料,个体对众多词语构成的连贯文本的加工更复杂,既涉及词语本身的记忆,也涉及句子记忆及词语和句子间关系的意义建构(Pieger et al.,2017)。鉴于此,有必要从词语和文本两方面评述生成绘图的记忆效用。

2.1 生成绘图与词语记忆

词语记忆方面的研究主要涉及项目记忆(item memory)和来源记忆(source memory)。项目记忆是对项目本身的记忆,如自由回忆、再认;来源记忆是对项目来源或相关背景的记忆。

2.1.1 自由回忆

自由回忆任务中,被试先采用不同策略对呈现的一系列词语进行编码,随后被要求尽可能多地回忆这些词语,不用考虑词语的呈现顺序。较早的证据来自Paivio和Csapo(1973)的研究。其实验2向被试呈现一系列具体词语,被试5秒内对这些词语进行绘图或书写;测验发现绘图的自由回忆效果比书写更好。该研究首次表明生成绘图具有词语记忆优势。对此Wammes等(2016)认为5秒时间过短,不利于被试生成一幅较完整的图画,可能低估生成绘图对记忆的促进作用。她们的系列行为实验发现,绘图的自由回忆正确率高于书写、罗列(列出词语指代物的物理特征)、想象(脑中建构词语指代物的心理图像并添加细节)、观看(观看所提供的图片)等多种编码策略,效应量Cohen’sd(绘图vs.书写)均值达1.26。随后多项词语自由回忆研究支持了生成绘图效应的稳健性(Jonker et al.,2019;Meade et al.,2018,2019)。

2.1.2 再认

再认任务中,被试同样采用不同策略对呈现的词语进行编码,随后被提供一系列出现过(旧)和未出现过(新)的词语并判断其是否出现过。Wammes,Roberts等(2018)采用新旧再认范式,发现相比书写,生成绘图的再认准确性更高,再认反应时更快;有意思的是,即使只做绘图前的准备(不真正绘图),其再认准确性仍好于书写,表明精细加工在生成绘图效应中起作用,因为在手动绘图前的准备阶段,个体需要根据材料特征以及自己的先前知识在头脑中生成对应的意象,对图画进行构思,这种生成性活动被认为是精细的编码活动,有助于个体对记忆材料的深层加工。另一项研究(Wammes,Meade et al.,2018,实验3a和3b)采用RKN再认范式(N反应代表被试认为某词语为新项目;K反应代表被试仅熟悉某词语为旧项目,不记得编码时的情境细节;R反应代表被试不仅认为某词语为旧项目,且记得编码时的情境细节)发现生成绘图不仅总再认准确性、总击中率、总辨别力好于书写,更重要的是其再认优势体现在R反应(而非K反应)上,表明记忆的生成绘图效应依赖于编码的情境细节。

2.1.3 来源记忆

个体在编码过程中不仅识记项目本身,也识记与项目有关的背景特征。生成绘图包含丰富的背景信息,如绘图时空特征、绘图时的身体运动特征、绘图所使用的编码方式和媒介特征等。丰富的背景线索不仅有助个体识记词语本身,也可能促进来源记忆。Wammes,Meade等(2018)在测验时要求被试判断与词语对应的编码方式,发现个体对绘图词语编码方式的击中率、敏感性比书写词语更高,说明个体绘图时对编码方式进行了更好的来源记忆。然而,从来源记忆角度考察生成绘图效应的研究尚少,有待继续挖掘。

2.2 生成绘图与文本记忆

有关复杂文本的生成绘图研究常采用偏学习情景的长段文字材料(句子或句子组合),在记忆层面关注个体对文本项目的记忆保持效果。部分研究表明生成绘图能帮助个体保持文本记忆(Van Meter,2001)。例如,Schwamborn等(2010)要求被试学习肥皂和水的化学反应文本,发现无论绘图是否与其它策略(如添加下划线、想象)结合,绘图组的保持测验得分均高于阅读组。Wammes等(2017)在其实验1中选用各学科(如天文学、心理学)大学课本的术语(如“干旱土”)和相应定义作为文本材料,发现相比书写,生成绘图在记忆保持测验成绩上更好;为控制先前知识经验干扰,其实验2采用非词术语(如“rhotes”)及虚构定义,仍发现同样结果。Fiorella和Kuhlmann(2020)使用人体循环系统作为学习材料检验了绘图+解释、仅绘图、仅解释和重读的效果,发现了仅绘图相较于重读在保持成绩上的优势,且让学习者边解释边绘图的效果最好。这些结果均表明了生成绘图在复杂文本记忆上的优势。

也有研究未发现生成绘图在文本内容记忆保持上的积极作用(Schmidgall et al.,2019,实验1;Schwamborn et al.,2011;Zhang &Linn,2013)。如Van Meter等(2006)向小学生呈现鸟翅膀的文本,结果发现无论是否在绘图基础上增加额外支持(如图画比较),绘图组与非绘图组在该文本内容再认成绩上无差别。Schleinschok等(2017)要求大学生学习极光天文现象的文本知识,结果也未发现绘图组与阅读组在记忆保持效果上的差异。Cheng和Beal(2020)安排大学生学习关于人类呼吸系统的复杂科学文本,在预览完图画材料后要求被试完成绘图、想象或重览图画的任务,发现不同任务对学习者的回忆效果没有显著影响。甚至有研究表明生成绘图的作用相对更差(Ploetzner &Fillisch,2017;Schmidgall et al.,2019,实验2)。可见生成绘图在文本记忆保持效果上的积极作用不稳定。

2.3 实证总结

为了更直观地分析生成绘图策略对项目记忆正确率的影响,文章对已发表的相关实证研究的基本信息和数据进行整理。以绘图组为实验组,以非绘图组为对照组,计算各个效应量Cohen’sd及总体的中值效应量。与王燕青等(2019)的综述不同,文章更加全面地综合了生成绘图在记忆效果层面上的影响。王燕青等(2019)的研究主要评述了生成绘图在复杂文本学习上的研究概况,低估了生成绘图在记忆效果这一重要结果变量上的作用(d=0.13),可能的原因是其综述中仅纳入了生成绘图在学习保持上的数据,研究数量较少(18项),导致生成绘图的记忆效果不能被全面地衡量。文章弥补了这一潜在缺陷,对生成绘图在记忆效果上的70项实验进行系统综述,并着重关注材料难度这一重要调节变量。文章发现生成绘图在记忆效果上的作用稳健,总体上所有实验的中值效应量为d总体=0.79。文章还发现生成绘图对复杂文本的项目记忆正确率的中值效应量d复杂文本=0.57,大于王燕青等(2019)计算的效应量d=0.13。更重要的是,文章还计算了生成绘图对简单词语的项目记忆正确率,中值效应量d简单词语=1.06,是生成绘图在复杂文本的项目记忆正确率上中值效应量的近2倍。这些数据为研究者更客观全面地认识生成绘图的记忆功效提供了重要参考。

综上,生成绘图在词语记忆方面的研究结果相对一致,即生成绘图能促进个体对词语的项目记忆,个别研究还发现生成绘图能促进其来源记忆。对比而言,生成绘图在文本的项目记忆方面的研究结果不太一致,这可能是由于记忆难度的干扰。词语材料相对较为简单(Wammes et al.,2016),生成绘图的作用易于突显;较短的文本材料(如一句式的术语定义)或许记忆难度也较低(Wammes et al.,2017),生成绘图的作用依然明显;但更长的文本材料(如多段式的科学现象)记忆难度更大,使得个体产生较高的内在认知负荷(Sweller et al.,2011),生成绘图的记忆优势一定程度上被高内在认知负荷所掩盖。复杂文本的记忆难度增大,可能导致复杂文本的中值效应量小于简单词语的中值效应量。

表1 生成绘图对项目记忆正确率的影响研究

3 为何生成绘图促进记忆?

基于简单词语和复杂文本的证据,研究者分别提出模型解释记忆的生成绘图效应。词语加工的理论模型关注生成绘图的整合成分,文本加工的理论模型关注生成绘图中复杂的认知和元认知过程。

3.1 绘图效应整合成分模型

Fernandes等(2018)尝试解构生成绘图所包含的成分,提出绘图效应整合成分模型(integrated-components model of the drawing effect,ICMDE,图1)。该模型认为个体在编码中可能存在一种或多种成分,即认知加工或感觉通道的投入,包含多种成分的编码有助于记忆;生成绘图之所以促进词语记忆主要是因为该策略同时包含三种有利于编码的成分:精细、运动和图像成分。

图1 绘图效应整合成分模型(Fernandes et al.,2018)注:模型中各成分以圆饼表示。成分间呈交叉堆叠状,交叉部分代表某记忆策略同时含多种成分,未交叉部分代表某策略仅含单一成分。不同策略所含成分的数量由底层向高层增加。“v”表示基本的言语记忆(verbal memory)。由于暂未发现纯粹只含运动或精细成分的策略,因此将它们分别注为“x”、“y”等未知策略。

精细成分(elaborative component)指个体根据词语视觉和语义特征进行内部意象的生成和深加工。该成分的积极作用类似于生成效应(generation effect,Slamecka &Graf,1978)。绘图时个体需根据词语视觉和语义特征生成对应的心理意象并进行深加工。运动成分(motoric component)指个体将内部意象或外部图画绘制于特定媒介时手动的、项目特异的运动体验。该成分的积极作用类似于操作效应(enactment effect,Cohen,1981)。绘图时个体需借助特定绘图媒介将内部意象手动绘制出来,涉及感觉运动系统参与。图像成分(pictorial component)指个体对内部意象或外部图画的视觉检验和加工。该成分的积极作用类似于图优效应(picture-superiority effect,Paivio &Csapo,1973)。绘图时或绘图后个体以双重编码(而非单一编码)方式反复检验和加工图像内容。ICMDE认为,一些策略为“单成分”策略,即仅含三种成分中的某一种,如观看策略要求个体观看他人提供的图片,无需生成和动作操作,故只含图像成分;一些策略为“双成分”策略,即同时包含三种成分中的两种,如想象策略要求个体在脑中生成与词语对应的内部意象并对其进行加工,无需动作操作,含精细和图像成分;另一些策略则为“三成分”策略,生成绘图是其代表性策略(之一)。因同时含精细、运动和图像成分,生成绘图策略能更好地促进信息编码和提取(Wammes et al.,2019)。

3.2 绘图建构认知模型

Van Meter和Firetto(2013)提出绘图建构认知模型(cognitive model of drawing construction,CMDC)用于解释生成绘图对个体在复杂文本学习中的作用。CMDC与图文理解整合模型、自我调节学习相关理论观点有关,强调生成绘图中认知和元认知过程的积极作用。

Schnotz和Bannert(2003)的图文理解整合模型区分了描述性表征(descriptive representation)和直观性表征(depictive representation)。描述性表征包括(外部)文本、(内部)文本浅层表征以及(内部)命题表征;直观性表征包括(外部)图画、(内部)知觉图像以及(内部)心理模型。CMDC认为生成绘图过程包含这两种表征(Van Meter &Firetto,2013,图2)。个体根据复杂文本的言语特征,选择一些关键元素加工后形成浅层表征。随后通过语义加工组织所选元素,形成元素结构和关系明确的命题表征网络。接着,基于该命题表征网络派生的视觉-空间表征,形成心理模型。心理模型整合了语义和视觉-空间信息并以因果链形式表征了元素间的逻辑性结构关系,这种整合被绘图活动强迫进行,被认为是生成绘图发挥积极作用的最主要来源。个体的先前知识经验为这种整合提供了重要支持。个体根据心理模型派生出知觉图像,它是一种浅层的直观性表征。最后将知觉图像外显化,绘制出外部图画。

图2 生成绘图的过程与成分[调整自Van Meter和Firetto(2013)、Fernandes等(2018)的模型]注:图中实线方框代表内在的心理知识;底部的虚线方框代表外部世界的信息,即绘图前的言语材料和绘图后的外部图画;实线箭头代表认知过程,虚线箭头代表元认知过程;实线椭圆代表存储于长时记忆的认知图式。

CMDC还糅合了自我调节学习观点,认为元认知过程也发挥重要作用(Van Meter &Firetto,2013)。若个体在绘图中或绘图后意识到自己未能很好地理解文本,便会对所建构的表征进行修正和完善以提高绘图准确性。如在派生知觉图像时,个体可能返回至其它表征(如浅层表征)进行检查,甚至返回至原始文本复查。因此生成绘图不是简单的线性过程,而是认知和元认知加工在各种内、外部表征之间的迭代过程。

3.3 理论总结

ICMDE为解释记忆的生成绘图效应提供一种成分观:生成绘图记忆优势的产生机制在于精细、运动和图像成分相叠加后的整合作用,这些成分不仅有助于信息编码,且为随后的信息提取提供丰富的情境线索。但该模型未阐释生成绘图起作用的具体心理加工过程。生成绘图是一项从无到有、从文字输入到图画输出的生成过程,其记忆优势须溯源至该过程。关于这一点,ICMDE未曾明晰。

CMDC为解释记忆的生成绘图效应提供一种过程观:生成绘图之所以促进文本记忆,得益于个体对文本信息的选择与组织、图文信息的整合等认知过程及个体对图文信息进行复查、调整、纠正等元认知过程。需认识到,目前该模型的直接证据不充分,因为以往多以结果指标(如文本记忆保持成绩)间接推测认知和元认知过程的作用。少数研究虽采用眼动指标反映认知过程(Hellenbrand et al.,2019),采用自我监控指标反映元认知过程(Van Meter,2001),但并未深入分析过程指标与结果指标间的关系,不利于为CMDC提供更直接的证据。未来不仅应增加过程指标测量,还应分析其与结果指标的关系。

ICMDE主要被用来解释生成绘图在词语记忆上的效果,而CMDC则多被用于解释生成绘图促进文本记忆的机制。虽然ICMDE与CMDC出发点不同,但二者并不矛盾,甚至是相互联系的。首先,二者都为认知理论,都承认生成绘图有助于深加工。其次,成分与过程仅是认知活动的两个不同视角,加工过程中可能存在不同的加工成分。鉴于ICMDE和CMDC都得到一定支持,生成绘图的过程和成分可能不是非此即彼的对立关系。根据CMDC,心理模型的形成是整个生成绘图过程的重要环节。在心理模型形成之前,个体需要对词语或文本等言语材料进行元素的选择、组织和整合,这些心理过程有助于个体内部意象的生成和精细加工(Mayer,2009),因此该过程主要涉及ICMDE所提出的精细成分。心理模型形成后,个体通过对心理模型中意象的检验和加工派生出知觉图像,该过程主要涉及ICMDE所提出的图像成分。当个体通过元认知监控确定知觉图像后,便可手动将其绘制并外显在合适的媒介上,该过程则主要涉及ICMDE所提出的运动成分。可见,生成绘图的成分可能统一于生成绘图的过程中(图2)。

4 未来研究展望

生成绘图是潜力较大的记忆策略,近来其记忆功效在简单的词语记忆任务和复杂的文本记忆任务中被考察。在词语记忆方面,生成绘图能促进自由回忆、再认和来源记忆;但在文本记忆方面,生成绘图未能稳定促进记忆保持。ICMDE和CMDC等新近模型的提出,为生成绘图研究注入了新活力。基于以往实证和理论工作,未来仍需关注生成绘图研究的深度和广度。

4.1 深化生成绘图的作用机理研究

如前所述,ICMDE认为生成绘图中的精细、运动和图像成分有助于记忆的编码和提取。精细成分要求个体在工作记忆中投入较多认知资源进行生成活动;运动成分要求个体计划并执行绘图动作;图像成分要求个体对图像内容进行视觉加工。神经科学研究表明,背外侧前额叶与工作记忆资源投入有关(Barbey et al.,2013);初级和次级运动皮层参与运动指令接受、运动准备和执行(Jiang et al.,2004);视觉皮层负责处理视觉信息。未来研究可借助低运动敏感性的技术(如fNIRS)直接测量这些脑区激活情况,挖掘生成绘图成分的作用机理。

4.2 拓展生成绘图的推广性研究

以往被试以大学生为主,缺乏儿童和老年被试,限制了生成绘图效应的跨群体推广性。儿童抽象逻辑思维能力有限,倾向于具体形象思维。绘图在儿童中被广泛欢迎(Toomela,2002),如何发挥生成绘图在儿童中的记忆优势,有待深究。另外相比年轻成人,老年人因其脑内记忆相关脑区(如海马)退化而记忆力变差,因此老年人更依赖环境支持以维持良好记忆(Craik &Jennings,1992)。生成绘图富含视觉、动作、空间等环境信息,可能具有改善老年人甚至痴呆患者记忆的潜力(Meade,Ahmad,et al.,2020;Meade et al.,2018)。未来可从发展角度推广生成绘图研究。

4.3 平衡生成绘图的成本-效益研究

现有研究侧重生成绘图对记忆的积极作用(即效益),对其消极作用(即成本)探讨不足,不利于全面认识生成绘图在效益与成本间的关系。生成绘图具有记忆优势,却也可能存在消极影响。Jonker等(2019)发现,尽管生成绘图促进项目记忆,但精细成分可能会破坏项目间关系信息的编码,从而不利于关系信息记忆(如顺序记忆)。Meade,Klein等(2020)采用DRM范式考察绘图相对于书写的作用,发现绘图能更好地促进再认,但也起到副作用,如增加了错误记忆的比例。这表明生成绘图的效益与成本可能并存,未来研究应在二者间平衡。