汪琼 欧阳嘉煜 范逸洲

[摘   要] 同伴互评是MOOC中经常采用的一种教学活动。为了帮助学习者自信地对他人作业做出客观公正的评价并促进自我反思，课程团队会提供作业反思框架，即评价量规，希望学习者在使用评价量规撰写评语的过程中不断加深对课程教学目标的理解，通过观摩评议同伴作业促进自我反思。但教学用意未必所有学生都能够领会并落实，MOOC中有多少学习者在作业互评过程中具有反思意识、反思意识程度如何、反思意识与学业成效之间是否存在关联，是本研究感兴趣的问题。通过对“教师如何做研究”MOOC课程中79287条同伴互评数据进行深入分析后发现：在自然无干预的状态下，大部分学习者有一定的反思意识，但撰写的评语质量还有待提升;成绩合格者的评语长度和评语质量与学习成效呈现显著正相关，这表明同伴互评的评语长度及质量可以作为学习成效的预测指标。研究在使用定量方法对MOOC学习者评语数据进行教学意义分析方面作了一些方法尝试，可为后续研究提供参考。

[关键词] MOOC; 同伴互评; 反思意识; 评语字数; 评语质量; 学习成效

[中图分类号] G434            [文献标志码] A

[作者简介] 汪琼（1965—），女，安徽合肥人。教授，博士，主要从事教学设计研究。E-mail：wangqiong@pku.edu.cn。

一、问题的提出

同伴作业互评是MOOC中常用的一种社会建构学习活动，学习者需要根据课程团队提供的评价量规，对多个同伴的作业进行批改。在这个过程中，学习者不仅可以加深对教学要求的理解，促进自我反思[1]，还可以因观摩他人作业而取长补短，丰富观点和见识。

已有研究表明，学习者参与同伴互评能够提高他们的学习成绩、激发学习动机[2-4]。例如：“教师如何做研究”这门MOOC课程中就有学习者表示非常喜欢这个活动，认为“原以为自己已经做得很好了，却看到了别人更出色的作业”。对于被评价者来说，高质量且与被评价者相关的评语对其学习起到正向促进作用[5]，对于评价者来说，写评语的过程可以提升其批判性思考等高阶思维能力[6]。

虽然作业评语是“同伴作业互评”活动中提升学生学习质量的关键要素，但并不是所有学习者都能够意识到认真写评语的意义，所撰写的评语也并不都是有针对性的。在一项对3034条同伴互评评语进行文本编码分析的研究中，研究者发现：多数学习者撰写的评语内容都不涉及对作业的修改建议，即使提出了修改建议，这些建议通常也是不具体的或者难以操作[7]。

在“教师如何做研究”MOOC课程中也有学习者反映：同伴并没有根据评价量规对作业进行评价;评语内容单薄，只有几个字，对后续修改无指导价值;等等。我们随机抽取了300条“教师如何做研究”MOOC课程的同伴作业互评评语，按照字数由少至多的顺序排序后发现：学习者所写的评语长度不一，有些评语寥寥几字（如“很好”“厉害”“很有收获”），有些评语长篇大论（字数高达上千字）;评语质量差异也很大，部分评语能够根据评价量规给出具有建设性的修改意见，但也有部分评语看不出与作业评价量规的关联。可见，并不是所有MOOC学习者都能够意识到评价量规实际提供了反思的框架，也不是所有学习者都能够根据评价量规撰写评语。那么，有多少MOOC学习者在参与同伴互评过程中具有反思意识或进行了审辩思考？由评语表达出的反思意识的强弱与学习成效之间是否有相关性？对上述问题的回答，将有助于增进我们对MOOC学习者学习特点的认识，相关发现也可以用于优化MOOC作业互评活动设计。

二、研究设计

本研究希望通过对MOOC作业互评活动中作业评语的研究，确定MOOC学习者在参与同伴作业互评过程中的反思意识强度，研究分析反思意识强弱与学习成效是否存在关系。

（一）研究數据来源

为保障本研究数据分析的有效性，本研究在样本选择上有以下几点考虑：一是同伴互评任务要具有一定复杂度，如果同伴互评任务过于简单，那么学习者撰写的评语内容和修改建议极易雷同;二是同伴互评的评价量规不能过于单一，否则学习者撰写的评语同质性也会很高，同质性会大大压缩评语的可分析空间;三是为了排除学习者对评价内容理解程度的差异对学习者所撰写的评语内容的影响，所选择分析的同伴互评活动最好是在课程后期进行的，一般来说，参与课程最后一周同伴互评的学习者基本都坚持学习了课程的所有内容，这部分学习者已经了解并掌握了课程的知识点，他们对于评价量规的熟悉和理解程度可视为同一水平。

根据上述考虑，本研究将研究样本确立为一门面向大中小学教师的研究方法培训MOOC“教师如何做研究”，该课程共有五周教学内容。学习者在学完五周所有内容后需要根据模板撰写一份研究申请报告，作为作业提交并参与同伴作业互评，每个人至少要评6份作业。评价量规共有6个维度，分别是研究题目、研究关键词、研究背景、研究内容、研究过程和研究创新点和成果。表1列举了该作业同伴互评活动的评价量规。学习者根据评价量规给出每个维度的得分后，平台将自动计算总分（每个维度去掉最高分和最低分后取平均分，然后计算各个维度的平均分之和获得作业总分，满分15分），同时，学习者还需要在文本框内给出相应的评语，课程团队要求学习者能够根据评价量规进行评价，但平台本身对学习者提交的评语内容和评语字数无任何限制。

本研究收集了该课程第一至第十一期的所有同伴作业互评的实际数据，即每位学员打出的分数，在此基础上得出每份作业的实际互评成绩作为本研究的分析数据，使用Rstudio工具进行数据分析。数据字段包括评价者ID、被评价者ID、课程ID、学期ID、作业ID、每个评价维度的得分、评语、课程成绩等，共计10184人次参与了同伴互评环节，产生了79287条有效评语，相当于人均提供了7.78条评语，即人均批改了近8份作业，“超额”完成了互评作业任务。这也从一个侧面说明MOOC学习者是很愿意看同伴作业的。