APP下载

基于数据驱动的课程教育评价指标体系构建与应用

2023-12-11周建芳张楚俊周振

高教学刊 2023年35期
关键词:数据驱动教育评价过程性评价

周建芳 张楚俊 周振

摘  要:信息技术与教学过程紧密结合产生的大量的伴随性教学数据为新时代教育评价改革提供数据支撑。基于教学平台产生的教学数据,构建课程评价指标体系,采用过程性评价和结果性评价相结合的方式,从学习态度和学习效果两个维度对学生的学习情况进行综合性评价。评价结果更加科学、立体、客观,能促进学生具有能动性地进行自主学习,协同学习,反思学习,减少学生学习过程中的投机行为。

关键词:教育评价;数据驱动;过程性评价;增值评价;结果评价

中图分类号:G640      文献标志码:A          文章编号:2096-000X(2023)35-0080-05

Abstract: The combination of information technology and teaching process produces a large amount of accompanying teaching data, which provides data support for the educational evaluation reform in the new era. Based on the teaching data generated by teaching platform, this paper constructs the curriculum evaluation index system, and adopts the method of combining the process evaluation with the result evaluation, from the two dimensions of learning attitude and learning effect and makes a comprehensive evaluation on students' learning. The result of evaluation is more scientific, three-dimensional and objective, which can promote students' self-learning, cooperative learning, reflective learning and reduce their speculative behavior.

Keywords: education evaluation; data-driven; process evaluation; value-added evaluation; result evaluation

教育评价是指在一定教育价值观的指导下,依据确立的教育目标,通过使用一定的技术和方法,对所实施的各种教育活动、教育过程和教育结果进行科学判定的过程[1]。教育评价作为我国深化教育体制改革,推进教育现代化的重要环节,在教育发展中起着重要的导向作用。

我国的教育评价发展大致可分为三个阶段:古代的科举制度考试、近现代的科学测试和当代的科学评价。我国的教育评价取得了长足的进步,形成了丰富的教育评价研究成果,但同时也表现出与新时代教育事业内涵式发展和高质量建设不相适应的问题[2]。教育评价改革势在必行。

随着教育信息化的持续推进,教学过程中产生的大量数据为教育评价改革提供了重要的技术支持和实践方向。《国家教育事业发展“十三五”规划》中明确指出:“鼓励学校利用大数据技术开展对教学活动和学生行为数据的收集、分析和反馈,为推动个性化学习和针对性教学提供支持”[3]。2020年中共中央、国务院印发了指导教育评价改革的纲领性文件《深化新时代教育评价改革总体方案》(以下简称《总体方案》),指出新时代教育评价改革的主要原则是“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性”[4]。《总体方案》为新时代教育评价改革指明了方向。

一  课堂教育评价的现状

传统的课程教育评价以结果评价为主,过程评价为辅。结果评价往往通过期末考试的成绩作为学生学习效果的评价,过程评价则是以平时上课考勤和课后作业作为过程性评价的依据。在这种传统的教育评价模式下,由于信息技术与教学过程融合不够紧密,用于过程性评价的数据如课后作业、考勤、期末考试成绩等数据依靠手工采集,数据量比较少,很难真实客观地刻画学生的完整学习过程和学习效果。过程数据处理慢,缺乏高效的统计和分析手段,教师很难从这些数据中及时准确了解学生对课程内容的掌握情况,更不要说根据这些数据及时调整教学进度,进行精准的教学干预。这必然造成课堂教学效果欠佳。

不僅如此,传统的教学评价采用的都是一些显性数据,部分学生为了通过课程考核,会针对考核指标采取某些投机行为,如考勤时他人代考勤,课后作业抄袭,期末考试更是“临阵磨枪”,只求低空飞过,甚至有部分同学在期末考试环节铤而走险,采用作弊的方法达到通过课程考核的目的。极端情况下会出现踏实认真学习的同学,比投机取巧、不认真学习的同学获得的评价更低。这不仅使得教育评价结果失去了公平性和客观性,更是与新时代教育“立德树人”的根本任务背道而驰。

随着教育信息化的持续推进,大数据、人工智能、物联网等技术与教育教学活动紧密融合,产生了大量伴随性的学习过程数据。通过分析学生的学习行为数据,了解学生的学习特点和学习态度,通过分析学生的学习过程数据,了解学生对课堂教学内容的掌握情况,并根据分析结果进行教学策略的调整,并对不同类型的学生进行个性化干预,以期提高课堂教学效果,提高学生学习效率。在课堂教育评价中,充分利用教育大数据,精选评价指标,强化过程评价,改进结果评价,探索增值评价,最终实现综合评价。

二  基于数据驱动的课堂教育评价的应用实践

本文以教育技术学专业21级数据库原理与应用课程一学期基于学习通的混合式教学过程中获取的伴随性教学数据为例,探讨了该门课程教学评价改革的实践路径和价值。

(一)  混合式教学过程与数据基本情况

学习通是超星集团推出面向智能手机、平板电脑的移动学习专业平台。其为课堂教学提供了大量教学活动功能。教师在教室进行线下教学,在课堂教学过程根据需要发布教学活动,学生通过手机完成教学活动,系统采集到学生的学习过程数据。根据学习数据的统计结果教师可以了解学情、及时进行教学策略调整,对特定学生群体或个人进行个性化教学干预。线上线下有机结合,为混合式教学提供了很好的支持。

混合式教学过程中的数据情况主要分两大类:一类是供学生学习、复习、练习的教学资源,如课件、相关阅读文献、试题库等,一类是教学活动产生的学习数据。本课程主要的教学活动如下。

1  签到

学生在手机上完成签到任务非常简单,在线下教学过程中为了防止学生旷课和代签到情况,学习通提供了多种签到方式。教师可以在课前随机选择不同签到方式来采集学生的考勤信息。为了避免签到过程过于繁琐冗长,本课堂中主要采用位置签到方式进行签到。教师通过学习通的线上签到信息以及线下学生到课堂的情况判断学生真实签到情况,对个别线上线下签到不一致的情况采用学习通手工标注的方式修改签到信息。

2  问卷

相比较课堂上教师口头询问学生这种交互方式,问卷能更好地收集全体学生的数据并实时统计,教师可以根据学生回答问卷的情况及时了解学生情况并及时做出反馈。在教学过程中,以下几种场景都可以通过问卷收集学生的反馈数据。

1)在第一次课前发布摸底问卷可以了解学生对课程的初步认识,先修课程学习情况,对课程上课频次、教师教学方式的偏好以及对课程的预期。

2)每3~5周发布问卷,询问学生最近一段时间学习效果,对教师教学方面的意见和建议,学习中的困难等。周期性获得学生对自己最近一段时间学习情况的反馈。

3)在某些讲解关键知识点的课堂,课后发布问卷了解学生对关键知识点掌握情况的自评,课前发布问卷进行课前回顾,对问卷中列出的知识点进行自评。

4)在某些关键知识点作业完成提交,教师进行批改后,发布问卷,对某一次作业的完成情况进行反思,看自己本次作业的不足之处在哪里,以强化对知识的掌握。

3  随堂练习

随堂练习是检验学生对单个知识点掌握情况最好的方式。在课堂教学过程中,教师讲完一个知识点,布置与该知识点有关的随堂练习,要求学生在限定的时间内(5~10分钟)完成。根据学生完成随堂练习的时间和正确率可以快速了解学生对知识点的掌握情况。

4  课后作业

和随堂练习相比,课后作业考察的知识点较多,难度稍大,完成时间较长(3~5天)。课后作业允许学生通过复习、查阅资料、与同学讨论后完成。课后作业的评价不仅与作业的正确率有关,还与学生的学习态度有关。部分同学可能会敷衍了事,在并未真正掌握知识点的情况下采用直接网上搜答案、借鉴其他同学答案等方式完成,需要教师结合其他相关数据仔细辨别。

5  期末考试

学习通支持按章节和知识点智能组卷、机器监考等功能,并生成丰富的考试过程数据,教师可以根据考试数据分析试卷的整体难度、题量是否饱和、覆盖面是否足够等,为改进结果评价提供了强力的支持。

经过一学期18周72学时的教学总计收集到的学生学习数据见表1。

(二)  强化过程评价

过程性评价的目的在于帮助教师提升教学效果,促进学生的学习[5]。过程性评价需要收集学生学习过程中的多样化数据。对于表1中列出的数据,其中签到、问卷、随堂练习、课后作业数据都是学生的过程性学习数据,通过对这些数据进行分析和处理,不仅可以了解学生的学习效果,还可以了解学生的学习态度。选取合适的数据指标并设置合适的权重,能够真实客观地反映出学生的学习过程。

用于评价学生学习态度的数据主要来自学生正常签到次数(线上签到地点与线下上课地点一致),参与问卷次数,参与随堂练习次数、在规定时间内完成课后作业次数来体现。除了以上教学活动的参与次数可以评价学生的学习态度,课后作业的完成情况中有两种不良行为会影响学生的态度和效果评价。

1)作业中的主观题(计算题和简答题)需要学生在草稿纸上完成作答后拍照上传解题过程和结果,经学习通作业的“雷同检测”为雷同作业,则几份雷同作业中除最早提交的作业为正常作业,其余的雷同作业均视同抄袭。

2)作业中的客观题(选择题)可以通过一次作业的领取时间和提交时间之间的时间差来判断,如果这个时间差极小(例如小于1分钟),不足以让学生能够閱读完作业中的题目并做出正确解答,据此判定这份作业是照抄答案而不是学生通过复习消化知识点后独立作答。

以上这两种情况在进行态度评价量化时要赋负分,降低评价,在学习效果上这份作业的得分也要视同无效,用于评价学生学习效果的数据主要来自学生随堂练习的正确率和课后作业的正确率。随堂练习是老师在课堂上完成一个知识点的讲解后,在课堂上要求指定时间内要求完成的任务,针对某一个具体的知识点,难度相对较低,主要考查学生对知识点的基本理解和掌握情况。便于老师根据随堂练习的结果从全局角度了解学生的学习情况,以便及时进行策略调整和个性化干预。对于全班都掌握较好的知识点,在下一轮教学过程中对该知识点的内容进行翻转,以学生自主学习为主,课堂讲授为辅;对于全班都掌握不好的知识点,及时调整教学进度和策略,采取课堂讨论、增加习题课强化巩固等补救措施,最终帮助学生掌握知识点;对于部分同学掌握较好、部分同学掌握不好的知识点,通过在课后作业布置该知识点相关的难度不等的多道题目,促使部分同学通过复习课堂内容、查阅资料、与其他同学讨论等方式掌握该知识点内容。

(三)  改进结果评价

传统的结果评价主要是通过期末考试的分数来进行的。仅仅通过分数来对学生一门课程的结果评价不够公正客观,而且可能助长学生在考试中的投机作弊行为。本文的教育评价方案中结果评价以学习通的考试数据为依据进行。与传统结果评价相比在以下三个环节有所改进。

1  组卷环节

试卷组卷有人工组卷和智能组卷两种方式。人工组卷需要教师从题库中手工挑选题目,指定题目分值。采用这种方式组卷,试卷的科学性(覆盖率、难度、题量饱和度)完全取决于教师的经验和对学生的了解程度。智能组卷可以按照章节(同一章节的题目放在同一文件夹)、知识点、难度和教学目标从题库中随机组卷,前提是试题库中的每一道题目都标注了相应的信息,如试题所在章节、知识点、难度和教学目标等。采用智能组卷方式,试卷的科学性可以通过组卷策略中的参数得以保证。

2  监考环节

在考试过程中,不仅线下有教师现场监考,学习通系统还通过随机抓拍的方式进行电子监考,对于学生考试过程中的答题行为进行记录,全程详细记录学生从开始考试到交卷整个过程中在什么时间、答哪道题、答案、所用时长、是否切屏及切屏时长等。在线上考试过程中,切屏信息可以辅助教师判断学生是否由于不会答题而切出考试环境去搜答案。对于时间较短的切屏可能是学生考试过程中收到短信、电话或者通知造成的切屏,而对于时间较长的切屏则可能是学生在网络上搜答案。对于学生的每次切屏学习通考试系统可以向监考教师发送预警信息,辅助监考老师重点关注切屏的同学,并根据具体情况进行干预。

3  试卷分析环节

考试结束之后,教师进行试卷批阅,分析整套试卷每一道题的得分情况,以及每个知识点的得分情况,判断整套卷子的难度以及学生对知识点的了解情况。根据学生的答题记录,统计每道题的答题时长,整套卷子的答题时长,判断整套卷子的题量是否饱满。统计分析的结果可以作为下一轮教学改进的依据。

(四)  探索增值评价

增值评价是对单个学生的学习情况进行纵向评价。教师在开课前需要充分了解单个学生的起点情况(可以粗略采用开课前的摸底调查问卷了解学生的情况),在教学过程中通过阶段性的过程评价数据发现学生存在的问题,并进行个性化干预。并观察干预一段时间之后学生是否有进步。增值评价和过程评价一样,也需要从学习态度和学习效果两个方面来进行评价。教学干预需要教师和辅导员共同协作,对学生表现出来的问题进行交心谈话,了解学生的具体情况,制定适合学生的干預方案。经过干预之后有进步的学生要适当鼓励,经干预之后没有进步的同学可能是干预方案不合适,需要调整干预方案。在探索增值评价的过程中,可能更多的是基于过程评价的结果,进行线下的教学干预。

(五)  实现综合评价

综上所述,通过学习通平台能够采集到大量伴随性的学习过程数据,根据这些数据进行综合评价,比传统的教学评价更加科学、专业和客观。

综合评价从两个维度进行评价:学习态度和学习效果。每个维度的指标选取前面已经讨论过,结合专业的培养目标和教学大纲的要求,为每个指标设置权重见表2。

需要说明的是,一级指标“不良行为”属于惩罚性扣分项,只有具备这些不良性行为的才需要扣分,最多扣15%。无不良行为的同学不扣分。

根据以上评价指标和一学期采集到的教学数据(每一项数据在教学执行过程中都进行了真实性验证),得到的综合评价见表3。

三  结论

(一)  评价结果更加科学、立体、客观

基于学习通平台采集的大量伴随性教学数据,进行分析统计,发现教学数据背后的规律和价值,不仅评价学生的学业成绩,而且评价学生的学习态度。并且根据阶段性过程评价结果进行精准的个性化教学干预,更有利于学生的发展,评价结果更加科学、立体、客观。

(二)  实现立德树人根本目标

在教学评价的各个环节都有相关的措施来保证用于评价的数据的真实性和客观性。在考勤环节核对线上考勤数据和线下实际考勤情况并对特殊情况进行手工调整;在限时随堂练习环节根据学生完成随堂练习的流畅度(速度和正确率)了解学生对考察知识点的掌握程度,在课后作业阶段发现学生的不良行为(雷同和抄袭)进行实时标记并线下预警和干预,在考试阶段根据学生的答题记录和切屏情况了解学生的考试行为并对不良行为及时干预。以上措施一方面引导学生树立正确的价值观和荣辱观,以端正积极的态度认真完成教学过程中的各个环节,完成新时代立德树人的根本任务,另一方面能够极大地促进学生自主学习、协同学习、反思学习的主观能动性,减少学生在学习和考试过程中的各种投机行为。

参考文献:

[1] 刘志军.教育评价[M].北京:北京师范大学出版社,2018.

[2] 叶赋桂.教育评价的浮华与贫困[J].清华大学教育研究,2019(7):18-21.

[3] 国务院.关于印发国家教育事业发展“十三五”规划的通知[EB/OL].https://www.gov.cn/zhengce/zhengceku/2017-01/19/content_5 161341.htm.

[4] 周洪宇.深化教育评价改革,加快推进教育现代化——《深化新时代教育评价改革总体方案》解读[J].中国考试,2020(11):1-8.

[5] 韩磊,许发磊,黄陈蓉.新时代教育评价的技术思考与改革实践[J].现代教育科学,2022(3):7-12,20.

猜你喜欢

数据驱动教育评价过程性评价
利用大数据进行学习评估与诊断
基于网络与数据智能化的数码印花产品设计定制模式研究
数据驱动理念在大学英语课程中的应用
大数据背景下的警务模式创新研究
关注“人的发展”:“核心素养”观下学校教育的召唤
基于幼儿成长的有效教育评价研究
《Oracle数据库》课程教学模式探究 
基于过程性评价的Office高级实训课程教学模式探讨与实践
高校 《大学语文》 课程教学模式的探索
初探教育评价的改革