APP下载

数据驱动的在线教学决策实践探索

2021-09-06王巍巍

中国教育信息化·基础教育 2021年8期
关键词:数据驱动在线教学

王巍巍

摘   要:利用数据支持教学决策是推动信息技术与教育深度融合向纵深发展的探索之一。然而,由于在日常教学中获取教学过程数据非常困难,使得这类研究大多停留在理论层面的探讨。在线教学的发展为打破这一困境提供了契机。文章利用在线教学平台的数据,以作者讲授的一门在线课程为例,对在线教学决策实践进行了探索,最后从教师、教学过程、教学管理和学生学习的角度,对数据驱动的在线教学决策进行了反思和总结。

关键词:数据驱动;在线教学;教学决策

中图分类号:G434;TP399 文献标志码:B 文章编号:1673-8454(2021)16-0027-06

一、引言

2016年,教育部印发《教育信息化“十三五”规划》,提出“依托网络学习空间逐步实现对学生日常学习情况的大数据采集和分析,优化教学模式”,“推进信息技术在日常教学中的深入、广泛应用”以及“培养教师利用信息技术开展学情分析与个性化教学的能力”等。2018年,教育部印发《教育信息化2.0行动计划》,进一步推动落实以上应用的开展,标志着利用信息技术和大数据促进教育教学变革已经开始向纵深发展。

近几年来出现的利用数据支持教学决策的研究即是该类探索之一[1-5]。但由于在传统教学环境中,技术和设备条件有限,日常教学过程数据难以获取,这类探索大多停留在概念辨析、发展历史梳理、价值探讨等层面[6-8]。不仅缺乏对数据驱动的教学决策的理论构建,对于教师关心的如何在日常教学实践中,运用数据帮助教师进行教学决策、提高学生的学习成效、进行教学思维的变革和教学改进等,更是缺少实践经验[5]。数据驱动的教学决策进行实践应用探索已经成为当下迫切的需求。

随着在线教学的发展,在教学过程中产生的并由在线教学平台记录下来的大量的学生学习行为数据,恰好为解决这一难题提供了有利条件。数据驱动的教学决策有望在在线教学中得以实现。本文以作者开设的一门在线教学课程为例,探索数据驱动的在线教学决策过程与实践应用,并对该研究存在的问题和未来发展进行了反思和总结。

二、相关研究

1.数据驱动的教学决策

决策一词较早常见于管理学领域,后被引入教学中,用于描述教师面对动态的生成性的教学情境,对教学活动进行计划、组织、控制和优化的过程。研究者们普遍认为教学决策是一项复杂性活动,其决策实践受到多种因素的影响,具有不同的取向[9][10],是“教师教学信念、知识、思维方式等与教学情境交互作用的内隐思维过程和相应外在行为表现的统一”[11],需要教师对教学活动相关信息进行分析和评估。教学决策是教师需要具备的重要能力,也是影响教学效果和提高质量的重要因素。

数据驱动的教学决策(Data-Driven Decision Making,DDDM),或基于数据的教学决策(Data-Based Decision Making,DBDM)、数据启发的教学决策(Data-Informed Decision Making)等,是随着信息技术的发展、数据获取和分析手段的进步而产生的教学决策模式。其主要特征是利用多样的数据,为教学决策提供依据。数据可以来源于教学活动的各个方面,由教师或教育管理者对数据进行进一步的挖掘、分析、决策,达到提升教学效果和学生学习成效的目的。这样的决策模式也被认为是循证教育文化的新发展,是教学决策从依赖于经验、直觉走向依赖于数据的科学决策的转变[5][12],是否具有从事证据决策的素养被认为是评判教师教学决策能力的关键[13]。

在概念的使用上,有学者认为数据驱动的教学决策与基于数据的教学决策并无本质区别[5];还有学者根据数据使用方式的不同,对数据驱动的智能决策和数据启发的教学决策进行了区分,认为数据驱动的智能决策的主要实施者是机器智能,而数据启发的教学决策的主体是教师[12]。本研究为了强调数据对在线教学决策的重要作用,采用数据驱动的教学决策这一概念,文中所提到的教学决策主体均指教师。

2.数据驱动的教学决策过程

有关教学决策的过程,已有研究有的强调教学决策发生的阶段性,如教学计划决策、教学互动决策和教学结果评价决策[14];有的强调教学决策的步骤性,即引起决策(事件、问题等)、拟定决策方案、实施决策方案、评价效果信息反馈[15]。

有关利用数据进行教学决策的过程,哈佛大学学者Boudett[16]提出了数据智慧改进教学过程模型(the Data Wise Improvement Process,简称DWIP模型)。该模型包括准备、探索和行动三个阶段以及组织协作到行动和评估八个步骤,主要是针对组织层级的教学决策过程。

Mandinach等[17]将数据驱动的教学决策从利益相关者的角度分为三个层级,即学区、学校和教室层级,并认为教学决策是由数据到信息再到知识不断提升的过程。与其类似的,Van等[18]将数据驱动的教学决策分为学校委员会、学校和课堂三个层次,决策过程包含四个步骤,分别为评价和分析结果、设置SMART和有挑战的目标、制定策略、执行策略,如图1所示。该模型虽然对教学决策过程进行了进一步的深化,但总体框架与Mandinach等人的模型无明顯差别,都是从通用性的角度构建教学决策过程。

一些研究者对如何使用不同类型的数据进行了探讨。Mokhtari等[19]将教学决策数据分为四个层次,即专业发展数据、课堂数据、学生数据和整合数据,并将基于数据的教学决策分为五个步骤:步骤一是组织数据集,由数据素养小组的成员合作分析不同的数据集;步骤二是选择一个记录员,负责记录步骤四中的讨论过程;步骤三是对数据进行分析,每个成员记录下自己的观察;步骤四是在充分分析数据后,整合数据分析结果,设计职业发展和学校改进的目标和行动计划;步骤五是小组成员与学校的其他成员沟通该计划,并监测实施。

还有一些研究者[20]将数据驱动的教学决策步骤概括为:建立使用数据改进教学的清晰目标,分析数据识别学习进度和学生需求,解释数据找到需要采取的行动,采取行动提高学生学习能力以及评价行动的结果等。Vanlommel等[21]将教学决策分为问题定义、数据收集、意义解释、评价和决策五个步骤,对教师在决策中使用数据和直觉进行了比较研究。

总体来看,已有的决策模型大多是针对宏观或中观层面的教育决策,或是将教学与学校管理决策等同,针对教学尤其是在线教学的决策实践探索不足。

三、数据驱动的在线教学决策过程与实践

1.数据驱动的在线教学决策过程

在已有研究[16]的基础上,将教学目标和教学设计加入教学决策过程中,并根据在线教学平台数据的特点,创建与教学设计匹配的数据概览,支持在线教学决策。数据驱动的在线教学决策过程可划分为五个阶段,如图2所示,即教学目标与教学设计阶段、创建数据概览阶段、数据跟踪与分析阶段、教学解释、预测与调整阶段和学习数据挖掘与评估改进阶段,各个阶段之间互为支撑。

2.数据驱动的在线教学决策实践

下面以笔者讲授的一门在线课程为例,对数据驱动的在线教学决策过程进行分析。该课程为大三年级的专业必修课,共12次课36学时,均为在线教学,学生人数为60人。教学平台为学校的在线教学平台,该平台的内核为Moodle学习管理系统。教师的所有教学过程数据均来自该平台,课程结束后,共獲取包括教师活动在内的日志数据51423条。

(1)教学目标与教学设计

该课程的教学目标分为总体目标和章节目标,在课程开始前会告知学生该门课程的总教学目标,在课程过程中,会在平台中发布每个章节的学习目标和学习要求。课程结束后,教师可根据学生的整体学习情况,在下一轮开课时对教学目标进行调整。

有关在线教学设计的问题,已有多项研究进行了探讨。例如,提高教学有效性的设计,包括系统性的课程设计过程、反向设计、考虑学习者需求、设计学习者交互活动等[22-24],以及学习目标可获得、支持学生之间的互动等[25]。另有研究者从理论层面提出支持在线教学决策的设计要素,包括学生的在线学习时间、资源浏览行为、互动分享情况等,以及课程中的学习成绩、作业等数据[4]。总体来看,互动、测验、作业、小组讨论等是在线教学中常用的教学活动。

据此,该门课程每个章节在平台上呈现的教学设计内容分为四个部分,帮助教师及时了解学生的学习情况:一是课前自主学习内容和测验,教师可以获取到自主学习内容访问数据和测验结果数据。二是课后巩固深化的个人作业,教师可以获取到作业提交时间分布数据和作业分数数据。三是课后延伸思考的小组讨论,教师可以获取到讨论区访问和发帖数据。四是拓展阅读材料,教师可以获取到访问频数数据。

(2)创建数据概览

数据概览是基于所使用的在线教学平台,结合教学决策过程各个阶段任务和课程的教学设计,利用在线教学平台数据将两者整合起来的数据关系表,其主要作用是帮助教师梳理清楚教学中会用到哪些数据以及如何适用这些数据。

表1为教师创建的课程数据概览,该数据概览分为数据范围、数据类型、教学设计和应用阶段四个维度。其中数据范围是指该数据所涵盖的时间、主题和群体范围,分为宏观、中观和微观数据三个层次;数据类型是从学习管理系统中获取的各种数据,包括各种活动访问数以及测验、作业和期末考试成绩等;教学设计是指该数据是否会需要通过教学设计获取;应用阶段是指该数据在教学决策过程中应用的阶段。

(3)数据跟踪与分析

在教学过程中,可以跟踪获取的数据只有中观数据和微观数据。由于在线教学的特殊性,学生可以在结课之前的任何时间访问课程资料,因此中观数据可能会呈现出长尾效应。这一阶段的数据跟踪与分析和下一阶段的教学解释、预测与调整会反复交替进行。在这一阶段中,教师比较容易关注到的是显性的形成性评价数据,例如测验正确率、作业质量、讨论区发帖数量和质量等。除此之外,还有一些隐性的数据也可以反映学生的学习情况,例如学生提交作业的时间分布、讨论区浏览数量等。

(4)教学解释、预测与调整

根据上一阶段获取的数据,教师对于发现的问题进行教学解释、预测与教学调整,或再次挖掘所需的数据。例如,在本门课程的教学过程中,教师发现经过几周的教学,学生提交作业的时间出现明显的延后现象,作业质量也有所下降。究其原因是由于在线教学过程中,各门课程的任课教师都增加了平时的作业量,学生渐渐难以保证充分的思考时间,导致作业质量下降,作业完成时间延后。根据这一情况,教师及时作出调整,减少作业量,延长作业提交期限,尽量让学生有足够的时间消化、巩固和思考课程内容。

(5)学习数据挖掘与评估改进

这一阶段的工作主要在课程结束后进行,以便获取全面的课程分析数据,发现课程中没有注意到的问题,并为下次课程改进提供参考。在这一环节中,根据教学设计和数据概览,教师从以下几个方面进行教学数据的分析挖掘。

①对教学内容设计的审视

这一部分的数据分析主要用于了解教师所提供的学习资源的适切性,以拓展材料完成程度以及小组讨论话题为例。拓展材料是教师在每次课后提供给学生阅读的材料,这些材料是章节内容的拓展和延伸,主要目的是扩展学生的视野,了解更多的知识。例如,在讲到如何查找信息一章时,教师在“拓展材料”模块中添加了“如何评价检索效率”材料。由于受到课时的限制,该内容在教学计划中,不属于重点讲授的知识,因此教师在安排教学内容时,将其放在“拓展材料”模块中,供学生自行学习阅读。这些材料是否能够吸引学生,学生的阅读率有多高,哪些材料更受欢迎等,教师可以通过分析拓展资料完成度来了解。

图3为课程中所有拓展材料的完成度分布。从中可以看出,大部分拓展材料的浏览率都不足50%,只有一个材料的浏览率接近70%,反映出学生对拓展材料感兴趣程度总体偏低,教师要对浏览率低的材料进行再精选。

又如在教学设计中,每个章节都会安排一个小组讨论话题,这类话题是教师精心设计并与章节内容有关,需要学生在理解基本概念的基础上去思考、辨析和综合总结。这样的话题要有趣、有可辩论性,才能够吸引学生,达到推动学生思考的效果。图4中小组活动的参与/浏览人数普遍高于拓展材料,说明学生对小组活动话题较为感兴趣,当然也可能包含小组活动需要计分的原因。在该图中可以看出学生对各章节话题的感兴趣程度略有不同,个别章节参与/浏览人数略低。根據这一结果,教师需要考虑是否更换参与人数低的讨论话题,如果是由于该章节主题不适合小组讨论,则可以考虑删除。

此外,由于在课程设计中,是按照小组的形式发表意见的,是否只是发表意见的学生关注了小组活动,其他学生的参与度如何,教师可以在小组活动参与/浏览人数中查看到所有学生的参与情况,并做适当的调整。

②对学生学习行为的理解

对学生学习行为的理解分为两个部分,一是学生学习的自觉性和自主性,二是成绩与在线学习行为的关系。

A.学生学习的自觉性和自主性

根据课程的教学设计,学生学习的自觉性和自主性分别从课程学习材料完成度、学习目标和学习要求完成度两个指标观察,如图5、图6所示。

课程学习材料包括自主学习内容、测验和作业,这一部分规定学生要完成,其中测验和作业都算作平时成绩的一部分。从图5中可以看出,学生的完成程度较高,但是仍然有个别学生、个别章节的作业和测验没有提交。同样是必须完成的学习资料部分,由于没有计分要求,学生的完成程度相对较低。

与课程学习材料完成度形成鲜明对比的是,反映学生学习自主性的章节学习目标和学习要求完成度总体较低,如图6所示。从中可以看出学生对学习目标和学习要求的重视程度不够,学习的自主性有所欠缺。这一结果也与学生尚未适应在线学习有一定关系。

B.学生成绩与在线学习行为的关系

对学生的在线学习行为与学习成绩的关系已有较多研究,大多数研究发现学生的在线学习行为,例如访问资源数、讨论区发帖数量等与成绩成正相关关系[26]。

本研究中所获取的成绩数据和学习行为数据主要有两大类:一是学习成绩数据:期末成绩、平时成绩、综合成绩。二是学习行为数据:课程点击数、访问天数、已访问资源数、访问时长、登录次数、课程完成进度、讨论区浏览数。

对以上数据进行相关分析发现,综合成绩与登录次数、访问资源数显著相关(p=0.05)。平时成绩与课程点击数、访问天数、已访问资源数、讨论区浏览数显著相关(p=0.05),期末成绩无显著相关项。学生的在线学习行为整体上呈现出多样性特征。

四、反思与总结

本研究利用在线教学平台的课程数据,对数据驱动的教学决策进行了初步探索,现从以下几方面进行反思和总结:

1.从教师的角度来看,对数据的利用还有待加强

相比于传统的教学决策模式,在线教学数据为教师提供了另一个观察和分析教学活动的窗口,是教师监测和评估教学过程的“第三只眼睛”。通过分析学生的学习过程数据,教师可以更加全面地了解学生的兴趣点、学习内容掌握情况等。

由于教学工作富有个性化和过程性的特征,数据的作用也表现在不同方面。从本研究来看,这一作用主要体现在以下几个方面:一是在教学互动方面,发现教学过程中的学生学习问题,教师及时调整教学设计,缓解学生学习压力。二是在教学评价方面,了解学生在线学习的自主性和自觉性情况,为未来教学评价改进提供参考。三是在教学设计方面,了解学生对学习内容的感兴趣程度,帮助教师调整学生兴趣不高的材料或讨论话题。四是在教学预测方面,发现学生在线学习行为与成绩的关系,有助于在未来教学中识别可能存在学业风险的学生。

根据上述情况分析不难发现,对于复杂的教学决策来说,数据发挥的作用还远远不够。在对教学数据的获取方面,教师仍然是被动的一方,能获得哪些数据取决于教学平台的开发设计者。未来教师应真正发挥教学决策的主体作用,提出数据需求,推动教学平台对教学决策的支持。

2.从教学过程的角度来看,教学设计是基础

先有教学设计,然后才有能够反映出问题的数据。将教学设计与数据联系起来,才能有的放矢地利用数据支持教学决策。教学决策又反过来影响教学设计,如果只有决策而没有教学设计的改进,也称不上是真正的教学决策[27]。这一过程环环相扣,需要教师对如何利用数据进行深入思考,对教学活动进行精心设计以及实时监控调整,数据才能真正在教学决策中发挥作用。

3.从教学管理的角度来看,开发教学决策支持系统是保障

从获取数据到支持教学决策,有很多技术性的工作需要教师完成。而大多数教师没有获得有关如何获取、分析和解释在教学中使用数据的培训,对使用技术充满焦虑[28-30]。本研究中所使用的教学数据,很多是能知但不易知的,需要教师花费大量的时间去做数据清洗工作。即使利用数据可以获得成效,过高的成本也会让这种收益变得遥不可及。教学管理者应支持和推动开发针对教学需求的教学决策应用系统,降低教师利用数据的成本,将教师从数据的初级管理工作中解放出来,提供教师数据素养培训,使教师能够将主要精力放在对数据的分析利用上。

4.从学生学习的角度来看,对学生学习成效提升的路径有待深入研究

教学决策要为提升学生学习成效服务,尽管目前很多研究都认为基于数据的教学决策有助于提升学生的学习成效,帮助学生改善元认知、优化学习策略、发现学习同伴等[31],并积极推动数据在教学中的应用,然而这一成效的具体实现路径如何,相关研究较为匮乏,本研究尚未企及,需要进一步深入探究。总体来看,数据驱动的在线教学决策探索仍处于起步阶段,在理论和实践领域都有很多需要研究者关注的问题,相信不久的将来,这一领域会有更多的研究成果出现。

参考文献:

[1]雷云鹤,祝智庭.基于预学习数据分析的精准教学决策[J].中国电化教育,2016(6):27-35.

[2]顾小清,薛耀锋,孙妍妍.大数据时代的教育决策研究:数据的力量与模拟的优势[J].中国电化教育,2016(1):56-62.

[3]张务农.大数据应用于教学决策的可能与限度——基于教学认识论的视角[J].中国教育学刊, 2017(10): 64-69.

[4]王坤.支持與实现:教育大数据对高校教师教学决策的价值所在[J].中国成人教育,2018(16):145-147.

[5]冯仰存.数据驱动的教师教学决策研究综述[J].中国远程教育,2020,41(4):65-75.

[6]顾小清,林仕丽,袁海军.教育数据30年:从CMI到DDDM[J].电化教育研究,2010(9):55-63.

[7]邹逸,殷玉新.从“基于经验”到“数据驱动”:大数据时代教师教学决策的新样态[J].教育理论与实践,2018, 38(13):52-56.

[8]钟婉娟,侯浩翔.教育大数据支持的教师教学决策改进与实现路径[J].湖南师范大学教育科学学报,2017,16(5):69-74.

[9]何杰.论教师教学决策的内涵、取向及其教育学意蕴[J].当代教育科学,2010(21):30-34.

[10]张朝珍.论教师教学决策思想的历史嬗变与现实意义[J].上海教育科研,2009(1):26-30.

[11]杨豫晖,宋乃庆.教师教学决策的主要问题及其思考[J].教育研究,2010,31(9):85-89.

[12]管珏琪,孙一冰,祝智庭.智慧教室环境下数据启发的教学决策研究[J].中国电化教育,2019(2):22-28+42.

[13]杨甲睿,黄甫全.证据型教学决策在美国:兴起、内涵、策略及其启示[J].电化教育研究,2013,34(4):107-113.

[14][美]威廉·威伦,贾尼丝·哈奇森,玛格丽特·伊什勒·博斯.有效教学决策[M].李森,王玮虹,译.北京:教育科学出版社,2009:13-22.

[15]魏薇.教师课堂教学决策研究[D].长春:东北师范大学,2011.

[16]Boudett K.P.,City E.A.,Murnane R.J.The "Data Wise"Improvement Process[J].Principal Leadership,2006,7:53-56.

[17]Mandinach E.B.,Honey M.,Light D.A theoretical framework for data-driven decision making(2006)[EB/OL].https://www.researchgate.net/profile/Daniel_Light/publication/252996939_A_Theoretical_Framework_for_ Data-Driven_Decision_Making/links/00b7d537797053bf5c 000000/A-Theoretical-Framework-for-Data-Driven-Decision-Making.pdf.

[18]Van der Scheer E.A.,Glas C.A.W.,Visscher A.J. Changes in teachers' instructional skills during an intensive data-based decision making intervention[J].Teaching & Teacher Education,2017,65:171-182.

[19]Mokhtari K.,Rosemary C.A.,Edwards P.A.Making Instructional Decisions Based on Data:What,How,and Why[J].Reading Teacher,2011,61(4):354-359.

[20]Hoogland I.,Schildkamp K.,van der Kleij F.,et al.Prerequisites for data-based decision making in the classroom:Research evidence and practical illustrations[J].Teaching & Teacher Education,2016,60(11):377-386.

[21]Vanlommel K.,Gasse R.V.,Vanhoof J.,et al.Sorting pupils into their next educational track:How strongly do teachers rely on data-based or intuitive processes when they make the transition decision?[J].Studies In Educational Evaluation,2021,69:100865.

[22]Mamun M.A.A.,Lawrie G.,Wright T.Instructional design of scaffolded online learning modules for self-directed and inquiry-based learning environments[J].Computers & Education,2020,144:103695.

[23]Czerkawski B.C.,Lyman E.W.An Instructional Design Framework for Fostering Student Engagement in Online Learning Environments[J].Techtrends,2016,60(6):532-539.

[24]Martin F.,Ritzhaupt A., Kumar S.,et al.Award-winning faculty online teaching practices:Course design,assessment and evaluation, and facilitation[J].The Internet and Higher Education,2019,42(7):34-43.

[25]Baldwin S.,Ching YH.,Hsu YC.Online Course Design in Higher Education:A Review of National and Statewide Evaluation Instruments[J].TechTrends,2018,62: 46-57.

[26]Macfadyen L.P.,Dawson S.Mining LMS data to develop an "early warning system" for educators:A proof of concept[J].Computers & Education,2010,54(2):588-599.

[27]Farrell C.C., Marsh J.A. Contributing conditions: A qualitative comparative analysis of teachers' instructional responses to data[J].Teaching and Teacher Education,2016, 60:398-412.

[28]Reeves T.D.,Chiang JL.Online interventions to promote teacher data-driven decision making:Optimizing design to maximize impact[J].Studies in Educational Evaluation,2018,59:256-269.

[29]Rasheed R.A., Kamsin A., Abdullah N.A. Challenges in the online component of blended learning: A systematic review[J].Computers & Education,2020,144:103701.

[30]Dunn K.E.,Airola D.T.,Lo WJ.,et al.What teachers think about what they can do with data:Development and validation of the data driven decision-making efficacy and anxiety inventory[J].Contemporary Educational Psychology,2013,38(1):87-98.

[31]孫众,蘧征,杨现民,等.有意义的大数据与教学优化改革[J].电化教育研究,2018,39(3):43-48+61.

(编辑:李晓萍)

猜你喜欢

数据驱动在线教学
在线教学在新型职业农民培育中的应用
高职图书采编外包商选择模型研究
数据驱动和关键字驱动的研究与应用
基于网络与数据智能化的数码印花产品设计定制模式研究
数据驱动理念在大学英语课程中的应用
大数据背景下的警务模式创新研究
浅谈基于Web试题库系统的设计
浅谈基于Web在线教学系统设计
互联网+教育微网站的设计与应用
《计算机控制技术》课程教改探讨