樊宇

摘 要：为了进一步丰富和完善教育主管部门原有在线课程评价指标体系，更好地指导高职教育教学改革，让高职在线课程建设者能夠基于学习者学习能力、学习特点、学习目标和职业教育目的，不断修正和完善已建在线课程，使高职在线课程能被更多的高职学生有效利用，提高课程资源的使用率，为高职学生选择合适的在线课程提供充分指导。本文基于调研学生体验的高职在线课程评价中遇到问题，综合运用文献对在线课程评价研究的主要相关论文进行可视化分析;建立在线课程质量评价要素语料库，对评价要素进行聚类、分层，构建评价指标体系。

关键词：学生体验;在线课程;评价指标体系

中图分类号：F27 文献标识码：Adoi：10.19311/j.cnki.1672-3198.2022.08.039

信息技术的飞速发展加快了在线教育资源建设步伐。世界各国在线课程不断蓬勃发展与完善，一些发达国家对在线课程的研究领域更加全面，成果更加丰硕。在线课程的质量标准体系建设，欧美国家研究更系统和成熟，相关研究既有定性研究也有定量研究，研究成果经过了具体在线课程评价的实践验证，更关注学习者的在线课程学习体验以及学习评价等方面的研究，这些研究成果对我国在线课程评价体系的构建都有重要的启示。

在教育部的引领下，国内在线课程建设及质量提升研究也进入了高速发展期。教育部于2018年3月推出的首批490门“国家精品在线开放课程”中占据高等教育半壁江山的高职精品课程仅有22门，2019年高职课程增至111门。高职生源与普通本科生源之间存在显著的区别，学生的学习基础、动机、习惯、方法、兴趣差异显著。而且，普通本科与高职教育的课程性质、学习目标也有显著不同，所以高职在线课程的建设不能按照普通高等教育在线课程的评价标准来评判。近年来，我国关于在线课程评价的研究呈上升趋势，但多以理论为主，实践研究还有待进一步提升。

2020年突发的新冠疫情，使各在线课程平台用户爆满，在线课程建设者也使出浑身解数，为教师和学生提供各种在线课程资源及建设平台，原本是用于辅助线上线下混合式教学的在线课程成了教与学的主战场，高职院校教师与学生都有了一定在线教与学的体验，积累了进一步对在线课程评价的条件。目前在线课程的建设与评价标准都是由教育教学机构及其管理部门来设置，在线课程没有充分从用户视角与维度考虑课程的体验性，没能兼顾用户心理上、官能上的体验，不能很好地使学习者积极、持续地参与进去。在线课程的建设质量及其评价标准应该从在线课程的学习者角度来设计，由他们通过自身体验与应用来对其做出评判。

1 研究意义

本研究主要侧重于高职学生学习过程和体验，根据高职学生学习内容、学习方法和学习路径来确定评价指标，重点是增强为高职学生服务的意识，指导高职学生学习。基于客观数据的搜集、科学的统计方法保障，进一步丰富、补充和完善在线课程评价指标体系理论研究，为高职在线课程建设评价，也为混合式教学研究提供数据支撑，同时进一步深化高职教育课程建设理论。

2 研究方法

（1）文献分析法。通过研究和梳理文献，学习和借鉴国内外在线课程建设的评价方法、理论依据，分析其优缺点。

（2）实证研究法。本研究始于高职院校教师和学生大量使用在线课程的体验，研究数据来自于应用实践，来自于一手的体验、经验和问题，同时所得出的研究结果通过实践进行验证和完善。

（3）德尔菲法。以问卷的形式征求高职在线课程使用者对在线课程的体验与评判，经过多轮的意见征求与修订，使专家的意见趋于一致，逐步分析出基于学生使用体验的评价指标体系与要素。

（4）定性分析与定量分析相结合法。用成对比较法和1～9分标度构造成对比较矩阵，基于调查数据，构建在线课程评价指标体系，采用层次分析法（AHP）计算在线课程建设评价指标体系指标权重值和综合评价值。

3 研究发现

3.1 在线课程评价研究特征与趋势分析

2021年1月23日，在中国学术期刊网络出版总库（CNKI）以主题“在线课程”AND主题“评价”的限定条件进行数据高级检索，检索起止时间范围限定为2003年1月到2021年1月，来源类别为CSSCI、CSCD、核心期刊。对检索到的文献进一步进行筛选整理，剔除无关键词文献，一共获得183篇期刊论文和33篇硕博论文作为本文分析的样本。利用CiteSpace5.7.R1的关键词共现/聚类分析等功能，运用文献计量、文献统计分析对样本进行可视化分析，宏观把握研究态势。

3.2 在线课程评价要素筛选

首先，课题组从183篇核心论文和33篇硕博士论文中提取在线课程评价体系的所有评价要素进行汇总，将汇总的指标要素中涉及教育主管部门和授课者角度的评价指标相关内容剔除，确定指标的初选范围。按照在线课程使用者高职学生视角进行分类形成语料库。硕博论文在线课程评价体系指标要素汇集了1032条，高职在线课程质量评价体系指标要素汇集了679条。

其次，运用Excel数据排序和分类功能，将文献中搜集到的所有与在线课程相关评价要素分别进行筛选。通过数据筛选功能对所有要素进行降序排列之后，运用“数据”中“分类汇总”命令自动分级显示列表，并计算同一要素出现频次总数。

最后，结合当前在线课程开设资源和学生学习情况，课题组根据山东省高职院校开设在线课程情况调查结果，参照教育部2018年发布的《精品在线开放课程评价指标体系》以及《山东省高等学校在线开放课程建设实施方案》（鲁教高字〔2017〕11号），结合文献研究结果，依据高职在线课程评价的概念、指标选取原则和范围，经过反复的逻辑思辨，对评价体系指标进行经验选择/筛选，剔除重复的指标。

3.3 评价体系的初步构建

遵循主客观相结合、宏微观相结合、简便易行和分类差别化的原则，将选取的评价指标及分层情况以信函形式发送给专家，经过几轮征询，使小组专家的意见趋于一致，初步设计了基于学生体验的高职在线课程评价指标体系，包含1个目标层指标，5个系统层指标，19个要素层指标，96个指标层要素。

3.4 对评价指标框架的进一步修改

为了使评价指标体系更加科学和有效，本研究采用專家意见法对各评价指标筛选和修改。根据初步制定好的评价指标体系，生成专家调查咨询表，向邀请的专家寄送，请他们独自填写后再匿名寄回。通过专家意见的几轮征询，直至专家意见基本趋于一致为止，最终获得具有高准确率的集体判断结果。

大致的流程为：匿名征求专家意见、统计、归纳，再匿名反馈给各专家，再征求意见，整理、再反馈，若干轮后停止。通过对专家咨询及指标修改意见进行处理总结归纳，最终发现评价指标体系还存在以下几个问题：

（1）指标描述的规范性及全面性还有待于提高，专家指出，有些指标描述的角度并没有从学生的视角出发，所确定的评价指标体系的落脚点应在学生体验角度上。

（2）指标先后顺序不合理，三级要素层指标和四级指标层指标在层内的顺序缺少逻辑性，没有凸显先后顺序。

（3）四级指标缺失内容需要补充。

3.5 评价指标选取及结构层次确定，评价体系的初步构建

3.5.1 确定核心指标要素

在遵循主客观相结合、宏微观相结合、简便易行和分类差别化的原则上，听取专家意见，最终形成初步的125条在线课程评价指标。

3.5.2 构建判断矩阵

本研究采用层次分析法（AHP）确定指标权重。层次分析法是将决策问题按总目标、各层子目标及评价准则分解为不同的层次结构，然后用求解判断矩阵特征向量的办法，求得每一层次的各元素对上一层次某元素的所占比例最大值，最后再加权和的方法递阶归并各备择方案对总目标的最终权重，此最终权重最大者为最优方案。

3.5.3 专家权重赋值

将24位专家（8位教师和16名学生）填写的层次分析调查问卷进行汇总，去掉最低分和最高分取平均值，小数点后保留两位。

3.5.4 层次分析、权重和一致性检验

运用统计软件SPSSAU计算判断矩阵的最大特征根，并进行一致性检验并确定相应的指标权重。

3.5.5 体系建构完成及修正

统计结果表明，各判断矩阵均通过一致性检验，根据统计所得各级评价指标权重，建立基于学生体验的高职在线课程评价指标体系。

基于学生体验的在线课程评价指标体系构建完成后，研究团队将根据评价指标体系，面向山东省高职院校在线课程学习的学生编制量表，进行调研，根据他们的反馈结果，对量表进行了修改，发布到问卷网，请部分在线学习的学生根据量表要求给各评价维度打分。搜集了一定数量的样本之后，对本次试填写的量表的信度和效度进行了检验。

4 研究预期

本研究所得出的基于使用者学生体验的高职在线课程评价指标体系预期用于丰富和完善在线课程建设理论。进一步丰富和完善教育主管部门原有的评价指标体系，并进一步制定相应政策，更好地指导高职教育教学改革。也能够指导高职在线课程建设者可以根据使用者的学能、特点、学习目标和职业教育的特点与目的，不断修正和完善已建设的在线课程。使高职在线课程能被更多的高职学生有效利用，提高课程资源的使用率，为高职学生选择合适的在线课程提供充分指导。

参考文献

[1]童小素，贾小军，宣军英.基于德尔菲法的微课程评价指标的设计[J].中国教育信息化，2016，（24）：40-46.

[2]唐晓君，路莹，刘娜，等.基于德尔菲方法的在线开放课程质量评价系统研究与实现[J].中国教育信息化，2018，（07）：93-96.

[3]金贤.开放在线课程教学质量评价指标体系研究[J].江苏科技信息，2019，（04）：56-74.

[4]潘晓彦，蒋家琼，莫兰，等.美国“QM质量标准”与我国“精品在线开放课程”评价指标体系比较研究[J].湖南师范大学教育科学学报，2019，（05）：105-110.

[5]陈然，张晓，唐荣.我国开放大学在线课程质量评价研究[J].成人教育，2020，（02）：27-32.

[6]陈春芳.应用型本科院校在线课程质量评价指标构建研究[J].吉林工程技术师范学院学报，2020，（03）：40-43.

基金项目：本文系山东省教育科学“十三五”规划2020年度课题项目“基于学生体验的高职在线课程评价指标体系构建”（2020ZC348）的阶段性研究成果之一。

1643501705394