王炼红 帅智康 许加柱 罗志辉

(湖南大学 电气与信息工程学院， 长沙 410012)

后疫情时代下，教育信息化的进程不断推进。大型开放式网络课程(MOOCs)作为承载教育信息化、智能化技术落地的载体，为学生提供了超越时间和空间限制的学习环境。慕课开放的环境带来了庞大的学习受众，学习者不再局限于学校的学生，同时，在线教育系统中，教学者、平台、学习者三者之间复杂交互行为产生了海量异构学习行为数据，因此，教育大数据驱动下的教学成效的评价成为近年来国内外学者研究的热点。

然而，MOOC学习平台的大规模普及与线上课程建设和实施也带来了传统线下教学课堂无法预见的问题：比如高辍学率和低完成率、教学模式和方法单一、没有分层的教学目标分析、缺乏有效的课程质量评价标准及指标体系、学习效果与教学质量难以保证等。如何科学、有效地评价MOOCs的教学效果，保障其教学质量，是目前需要解决的关键问题[1]。

线下课堂长期以来普遍使用以终结性评价为主，形成性评价为辅的教学成效评价方式。在线下课堂，教师与学生面对面授课，能快速获取课堂互动信息、反馈信息，教师对于学生的学习状态和课堂参与程度也能够做到即时干预。不可否认，一定的形成性评价和终结性评价相结合，能有效评估线下课堂的教学成效。通过教师的即时干预和教学策略调整，能够提升学生的学习效率。然而，面授教学模式由于受到课堂纪律和教学管理的束缚，学习的自主学习被教师“一刀切式”的干预措施所打断，教师在维持课堂纪律的情况下，难以空出多余的精力放在以学生为中心的个性化学习上，教学成效缺乏精细化的评价标准，难以有效把握每位学生的知识点弱项。

认知诊断模型则为诊断学习者的知识掌握水平提供了有效的解决方案。该模型将学习者的习题作答记录和试题-知识点关联矩阵作为输入，输出得到各个学习者在每个知识点上的掌握水平，针对知识点的评估建模过程中只需要细化知识点划分就可评估每位学生对该知识点在群体上的掌握水平层级，具有很好的可理解性。模糊认知诊断模型(Fuzzy-CDF)将学生对试题、知识点的掌握水平量化成连续数值，层级等级更细粒化并具有可操作性。因此，选择将模糊认知诊断模型融入到慕课教育评价体系中，改进传统的终结性评价方式，融通教学过程性评价因素，从心理测量角度来评估学生学习成效，以促进学生个性化学习，教师的精准化教学。

引言部分介绍了相关背景以及研究的意义与合理性：第一节介绍了模糊认知诊断模型的架构和建模过程，为下一步学习成效评估做理论准备；第二节详细阐述了如何采用模糊认知诊断模型中的知识水平参数来评估学生学习成效以及方法；第三节通过自建的基于中国大学MOOC“信号与系统”课程数据，采用所提方法进行了实验验证，并与常用方法进行了对比分析，论证了该方法的有效性与可行性；第四节为总结，并对未来研究方向做出展望。

1 模糊认知诊断模型

认知诊断模型使用数学模型描述学习者知识水平、试题特性与学习者的试题作答结果之间的潜在作用结构。现实应用中，根据相应的模型求解算法，可以在学习者的试题作答结果以及试题的部分特性已知的条件下，评估学习者的知识水平。再根据评估结果可以对学习者展开个性化教育资源推荐，节约学习者的时间成本。基础的认知诊断模型主要有项目反应理论(Item Response Theory, IRT)[2]、确定性输入噪声与门模型(Deterministic inputs, noisy and gate model, DINA)[3]、融合模型(Fusion model)[4]、属性层级模型(Attribute hierarchy model, AHM)[5]等。De la Torre[6]向DINA模型中引入“能力”这一高阶特征,认为学习者的知识水平取决于学习者本身的能力，从而构建了能力决定知识水平，知识水平决定试题作答结果的高阶DINA模型(Higher-order DINA model，HO-DINA)。涂东波等[7]对DINA模型进行扩展，开发了适用于多级评分场景的认知诊断模型。这些模型对学习者知识水平的评估结果比较粗糙，都是二元类型(仅掌握和未掌握两种状态)。针对该问题，Qi liu[8]基于模糊集合理论，对学习者知识水平进行模糊化，提出了Fuzzy-CDF模型。Fuzzy-CDF模型对知识水平的评估结果是介于0～1之间的连续值，更加细粒度地呈现了评估结果。

Fuzzy-CDF模型的四层结构从上到下为：学生潜在知识能力水平θ影响学生对试题所考核知识点的知识水平α；学生在知识点上的知识水平α决定学生对试题的知识掌握程度η；同时考虑粗心和猜测在学生答题过程中主要表现的两种情况，建模得到学生的作答结果，进而预测学生在试题上的作答得分R。其模型结构如下图1所示。

图1 Fuzzy-CDF模型结构

学生的知识水平α等价于在相对应模糊集中的隶属度μ。测验题中的每一个知识点k都有一个与之唯一对应的模糊集(J，μk)。其中J为表示学生的集合，μk是学生集J在对应知识能力水平模糊集上的隶属度函数，计算学生知识点水平α的公式借鉴了项目反应理论中使用的逻辑斯蒂模型，见式(1)。

(1)

θi表示学习者i的高阶能力特征，λ1k表示知识点k的区分度，λok表示知识点k的难度。对学生的试题掌握程度ηji定义见式(2)。

ηji=min(μk1(j),μk2(j),…,μkN(j))

(2)

其中μk1(j)和μk2(j)分别为学生j在试题i所考察的知识点1和知识点2上的模糊集隶属度，题目i共考察了N个知识点。

采用概率与统计中的伯努利分布来建模学生在试题上的作答得分，根据公式(2)并考虑学生在作答时存在的粗心和猜测两种情况，学生得分预测公式见式(3)。

P(Rji=1|ηji,si,gi)=(1-si)ηji+gi(1-ηji)

(3)

其中，Rji为学生j在题目i的得分结果，ηji为学生j对试题i的掌握程度，Si为作答试题i的粗心因子，gi为作答试题i的猜测因子。

Fuzzy-CDF模型通过所采集的实际测试结果数据，采用蒙特卡洛马尔科夫链算法估计四层结构中的未知参数。其中，学生的知识水平α是通过学生潜在的知识能力水平、测试结果综合评估得出，是后续学习成效评价所关注的关键参数。所有教学评价的手段，其目的均为评估学生潜在的知识能力水平，而引入的模糊认知诊断模型是针对学生对课程知识点掌握水平来评估，能够从每个知识点角度来解释学生学习成效，好理解且扩展性高。

2 学习成效评估方法

学习成效评价是以学习目标为导向，充分运用反思、调查、测验、观察等手段，分别收集教师和学生在教学、学习过程及结果的教育数据，基于数据驱动，形成对学习效果的鉴定和价值判断，从而引导调整学习目标、改进教学策略，修订学习路线和方法[9-11]。

目前的教学评价手段主要有诊断性评价、形成性评价、终结性评价。诊断性评价是为了解学生学习准备情况而进行的评价；形成性评价又称过程性评价，目的是收集教学活动过程中学生的学习反馈；终结性评价是指在一个大的学习阶段中，采用编制测验的方式，评定学生掌握知识、技能的程度和能力水平。

新一轮课程改革中，聚焦于形成性评价的发展，重点变革终结性评价。形成性评价关注过程，过程上的改进可以促进结果的达成。因此，形成性评价是改善学生学习、促进学生发展的重要手段。学生在在线平台学习过程中，产生了大量的学习行为数据，若将学习过程中新兴、多维的评价方式引入形成性评价，嵌入高维的基于教育大数据挖掘技术的学习成效评估方法，势必对学生的学习状态有更为精准的把控，进而推荐试题、课件等资源，有利于实现个性化的精准教学。

拟采用FuzzyCDF认知诊断模型的结果，分章对学生的学习成效做出合理评估，指导学生各章的学习；也可采集整学期数据进行评估来完成形成性评价。同时对比基于认知诊断模型的学习成效评估方法和传统的期末测试终结性评价方法。基于认知诊断模型的学习成效评估拟提出新的评价标准——知识水平，在更具细粒度的知识点水平上给予学习成效的评估，具体做法是以学生对各知识点掌握情况的均值作为学生的终结性评价指标。见公式(4)

(4)

式(4)中K为知识点总数。由公式(4)可以看出，模糊认知诊断模型可得到学生的各项知识水平，知识水平αjk为0～1之间的量化值。该评估方式的灵活性在于，只需细化知识点的数量，就可以得到学生在细节知识点的掌握情况。实验部分以课程章节划分为六大知识点。若需要评估学生每章细分知识点的掌握情况，则可以章节为单位，对章节下的知识做进一步的划分，可得到细粒度更高的章节小知识点的评估结果。知识点水平较低，说明学生对该知识点或章节掌握程度较差，对考核此部分知识点的习题应该多加练习，做到个性化学习并查漏补缺；知识点水平较高，说明学生对该知识点掌握情况满足学习要求，因此要加大习题训练难度。

以中国大学慕课平台上湖南大学“信号与系统”课程为例来阐述提出的学习成效评估方法的可靠性和可扩展性。“信号与系统”共有6章，计划学时为32。从形成性评价的角度上看，慕课平台集中有两次测验：分别是期中和期末两阶段。知识点划分按章标注，认知诊断模型基于两次测验的结果对学生的能力水平做出总体评估，可绘制学生对各章知识的群体画像，从而找出学生掌握薄弱的章节。从诊断性评价的角度上来看，模型以章为单位，知识点根据各章内容进行细分，MOOC平台记录了学生在每一个章节的作业、课后习题的数据。认知诊断模型可以根据细化的知识点及试题作答结果得到学生在细化知识点上的掌握水平。根据诊断结果，评估系统可以给学生推荐相应的试题资源和学习资源，并将学生的知识薄弱项及时反馈给教师，实现个性化的精准教学。

提出的学习成效评价示意图见图2。从图2可以看出，若以章为单位细化知识点进行评估，则可以章为单位评估学生各知识点的掌握情况，可及时提醒学生应加强章节中那些掌握弱的知识点内容学习。因此，基于知识点水平层级的评价模型具有更好的可理解性。

3 实验结果分析

3.1 数据集介绍

实验数据集来源为中国大学MOOC“信号与系统”课程的学习数据，通过爬虫技术构建HNU_SAS数据集。HNU_SAS数据集包含了466名学生在90道习题上的作答结果、专家标注的90道习题与6个知识点的关联矩阵。课程内容按章划分为六大知识点来完成期末形成性评价。知识点分别为信号与系统基本概念、系统的时域分析、信号的拉普拉斯变换与Z变换、系统的变换域分析、信号的频域分析、系统的频域分析。HNU_SAS数据集内容见表1。

图2 基于认知诊断模型的学习成效评估方法示意图

所有实验均在同一平台上进行，实验平台配置为NVIDIARTX2080Ti ,11Gb(显卡)，英特尔Core i9-9900k @ 3.6Ghz 八核(处理器)，64Gb DDR4 2666Mhz(内存)；运行软件版本为Matlab2016a。

表1 HNU_SAS数据集构成

3.2 基于知识点的学生画像实验

为了方便从整体上把握教学成效，首先针对课程章节划分的6个知识点来概要分析学生知识点掌握程度，以便对“信号与系统”慕课数据集中466个学生的总体知识水平进行评价。由于学生的知识能力水平服从正态分布，结合认知心理学领域的知识掌握水平划分标准，根据知识水平α值，知识点掌握等级评价划分如表2所示：

表2 知识点掌握程度评价区间划分

学生的各知识点掌握水平在表2知识点掌握评价区间的标准下，被划分为相应的等级，通过可视化呈现可以得到学生的整体知识点掌握群体画像。知识点1～6对应“信号与系统”慕课课程第一章到第六章的课程内容，知识点掌握程度评价反馈结果见表3。

表3 知识点掌握程度评价统计

以知识点1的总体分析为例，掌握程度在0.6及以上的学生共296人，占总人数466人的63.5%。知识点1为课程的第一章，介绍了关于信号和系统的基本定义及分类方法，特别要注意冲激和阶跃信号这种典型信号的定义、性质及运算，还有系统的分类和描述方法；由以上分析可知，根据模型评估出的学生的知识点掌握程度，可以对相关数据进行分析，得到学生在各章节学习中的总体知识掌握情况，进而能了解教师在讲授课程各章节知识的教学成效，知道学生在具体章节的学习效果、学生在哪些章节学习中出现较大问题，可以辅助教师优化教学方案，进而提升学生的学习效果。

3.3 学生学习成效评估实验

在认知诊断模型评估出的学生的知识点掌握情况基础上，可提出一种新的学生课程学习成效评价方式，即以学生的知识点掌握水平均值作为学生成绩评价的依据，将学生的知识点掌握程度均值换算成百分制来完成对学生的成绩评价。

基于知识水平的学习成效评估方法将与期末成绩百分制评估方法和慕课系统总成绩评估方法进行对比。其中，期末成绩百分制评估以学生的期终考试成绩为唯一评价标准；慕课系统总成绩评估方法将学生在慕课系统上的作业、测验、讨论和考试得分按规定比例加权平均，得到学生课程学习的最终得分。章节小测验和作业成绩占比均为15%，考试占比60%，讨论占比10%。

图3 三种学习成效评估方法对比

分别在慕课总成绩在0～39分数段、40～59分数段、60～79分数段、80～100分数段随机抽取20位学生，共计100位学生，分别绘制三种学生学习成效评估方式的成绩曲线图，结果见图2。其中，第一种学生成绩评价方式为百分制的学生知识掌握程度均值，第二种学生成绩评价方式为百分制的学生慕课期末测验总分，第三种学生成绩评价方式为百分制的学生慕课加权平均分。

由图3折线的走向趋势可以看出，基于学生知识点掌握程度得到的最终成绩与学生的期末测验得分有相似的波动趋势，图中两曲线的相关系数为0.78，说明使用慕课数据进行参数训练后对学生真实作答得分的拟合度高，能反映学生真实的知识状态。此外，慕课总分评价分数作为基准，基于模糊认知诊断模型的评估方法与慕课总分的相关系数为0.84，基于期末终结性考试的评估方法与慕课总分的相关系数为0.72。表4给出了三种学习成效评估方式的相关系数。可看出三者相关性较高，基于模糊认知诊断模型的学习者学习成效评估方法可作为学生成绩形成性评价依据。

表4 三种评估结果相关系数表

图3也不难看出：基于学生知识水平评估的学生最终成绩在比学生慕课期末测验总分更接近于基于加权方式的慕课形成性评价成绩。特别值得注意的是慕课总成绩在60分以上的学生，知识点评估成绩与慕课总成绩重合度高，慕课成绩处于60分以下的学生知识点评估成绩与慕课总成绩重合程度较低，知识点评估成绩总体低于慕课总成绩。分析其原因在于：慕课成绩有40%的比例来源于开放式的无过多约束的作业、讨论，由于这些数据无法保证能够真实反映学生的水平，这部分成绩带有一定的欺骗性。由此也可看出：基于知识水平的学习成效评估结果将更具可靠性和说服力。此外，在图3中还可看出：编号为66、69的学生根据知识点掌握程度得到最终得分与慕课总分差值过大，他们的期末测验得分更接近于慕课总分。产生这种情况的原因可能是对期末作答数据少的学生，模型在进行参数训练时难以拟合，最终得到的模型参数值与真实情况存在偏差。因此，对期末作答数据多的学生，模型在进行参数训练时拟合效果更好。

在下一步研究中可尝试对模型的参数估计算法进行优化。此外，课程知识关联关系对于学习者知识掌握水平的诊断具有重要作用，开发将知识关联关系融入到认知诊断模型的方法，并进一步运用到学生学习成效评估环节中，是今后研究工作的重点。学生在3种成绩评定方式下具有相似的成绩波动趋势，说明模型通过评估学生知识掌握程度，能反映学生真实的知识水平，进而给出学生的最终成绩评价，具有实际应用参考价值。

4 结语

在线教学的学习成效评价问题一直是教学活动中的重中之重。线下面授模式的形成性评价难以满足更细粒度的评价需求。因此，从引入过程性评价因素的角度，应用认知诊断模型的知识水平诊断技术，得到学生在各知识点上的掌握水平，给出了在知识水平层面的学习评价方式，由于嵌入了学生与习题交互过程中产生的特征向量-知识水平向量，基于模糊认知诊断模型的学生学习成效评估具有灵活性和更好的可理解性，能够反映学生的真实水平，提高学习的有效性。