职业院校防疫期间在线课程教学质量评价的成效、问题及建议

2021-02-04崔依冉韩锡斌周潜

教育与职业(下) 2021年1期

崔依冉韩锡斌周潜

[摘要]2020年初，受新冠肺炎疫情影响，职业院校春季学期全面转向在线教学。文章对53所职业院校在线课程教学质量评价报告进行了文本分析，旨在呈现职业院校防疫期间在线课程教学质量评价的成效并揭示存在的问题，为后续信息化教学提供经验和启示。研究结果表明：大部分职业院校关注并实施了在线课程的教学质量评价，力图通过多个角度、多种方式保障防疫期间在线教学的顺利开展，但由于第一次面对如此大规模的在线教学，也存在评价意识相对薄弱、评价内容维度不全、评价主体对教师与学生重视不足、评价方式较为单一、评价结果的应用意识相对薄弱等问题。疫情之后，混合教学将成为新常态，对此，文章提出了今后职业院校开展混合课程教学质量评价的相关建议。

[关键词]教学质量评价;在线课程;职业院校;教学效果;新冠肺炎疫情

[作者简介]崔依冉（1994- ），女，山东潍坊人，清华大学教育研究院在读博士;韩锡斌（1964- ），男，天津人，清华大学教育研究院副院长，副教授，博士生导师;周潜（1976- ），男，辽宁丹东人，清华大学教育研究院，高级工程师。（北京 100084）

[基金项目]本文系国家社会科学基金“十三五”规划2018年度国家一般课题“混合教学的理论体系建构及实证研究”的阶段性研究成果。（课题编号：BCA180084，课题主持人：韩锡斌）

[中图分类号]G712 [文献标识码]A [文章编号]1004-3985（2021）02-0088-07

2020年初，受新冠肺炎疫情影响，教育部连发多条通知，要求各级各类学校以线上教学的方式实现“停课不停教、停课不停学”，在线教学在全国范围内全面展开。面对教学方式如此大的转变，如何确保在线课程教学质量成为所有学校共同面临的课题，职业院校也不例外。本研究基于部分职业院校疫情防控期间开展在线课程教学质量评价的相关资料，试图呈现职业院校疫情防控期间在线课程教学质量评价的成效，揭示存在的问题，为后续开展信息化教学提供经验和启示。

一、在线课程教学质量评价研究综述

（一）疫情防控期间在线课程教学质量评价的相关研究

疫情防控期间关于在线教学的研究得到广泛关注，但对于院校行动的调查研究多关注在线课程教学、院校组织管理、教师培训等方面，在线课程教学质量评价的文献整体数量较少，且相关研究主要集中在评价指标构建与教学质量保障策略等方面。例如，金根娣和蔡长春从教学资源、教学设计、教学活动、教学效果四个方面提出了包含18项观测点的高职院校在线开放课程教学质量评价指标体系;田园从服务内容、用户体验、交互过程三个维度构建了在线教学资源平台应用效果的评价指标，并对中国大学慕课、腾讯课堂等在线教学平台进行了试用评价;牛东育和蒋晓玫构建了学校统筹与二级教学部门相结合的二级教学质量评价体系，形成了教学设计、教学、应用、学习与管理5个方面、10项测评点的线上教学质量评价指标。袁铎、郑辉赠和黄虹通过调研一所高校的平台顺畅度、教师在线教学熟悉度、师生在线教学认可度、学生在线教学参与度，从教学条件保障、教学组织管理、教学质量监控、教学质量评价四方面提出了在线教学质量保障策略。武艳和刘正涛基于高校管理的视角，提出了体现以学生学习为中心、促进教师发展、与教师绩效挂钩、鼓励教学改革的混合教学质量评价机制。

综合上述研究，疫情防控期间关于在线课程教学质量评价的研究类型以思辨型与问卷调研为主。虽然多数研究者针对院校在线课程评价存在的问题提出了相应的评价策略与指标建议，但这些问题多基于研究者自身的经验性认知，对院校在线课程教学质量评价的状况调研不足。本研究梳理了相关评价理论和方法，试图构建职业院校在线课程教学质量评价的分析框架，采用文本分析方法系统呈现疫情防控期间案例院校评价的成效，揭示存在的问题。

（二）在线课程教学质量评价阶段的相关理论及研究

罗恩·奥斯顿提出了评价方案的五要素模型，包括评价目的、评价反馈对象、评价方式、数据来源和评价结果。本研究将基于该模型提出分析框架，以检验案例院校评价方案的完整性。教育评价模式是兼具理论性与可操作性的行为范式，连接教育评价理论与实践，一般包含对教学质量评价阶段的划分。虽然教育评价模型多样，但迁移于在线教学环境的教育评价模式较少，且主要基于CIPP评价模式。李景奇、韩锡斌等学者将CIPP评价模式应用于网络学习跟踪与评价，将学生作为评价对象、教师与学生作为评价主体，详细阐述了四个评价阶段在网络学习情境中的内涵：背景评价旨在了解学生的基本情况及其对课程的学习准备;投入评价旨在了解学生的整体学习条件及其学习计划;过程评价关注网络行为，旨在分析学生网络学习行为、了解其学习参与状况;结果评价旨在评价学生的网络学习成果，具体包含学生测试成绩、平时作业成绩、活动成果等。张伟远基于CIPP评价模式，融合网络课程的系列过程，提出适用于网络课程评价的PDPP评价模式，包含计划评价（Planning Evaluation）、开发评价（Development Evaluation）、过程评价（Process Evaluation）和成效评价（Product Evaluation）四类评价阶段26项具体评价指标，后经过实践应用将其修订为21项评价指标。该模式在计划评价阶段囊括在线课程开发前的市场分析、财务分析与可行性分析，从专业层面与经济效益角度考量课程是否具有开设价值以及是否適用于在线教学;开发评价面向课程开发的各组成部分，关注课程蓝图、网络平台、课程界面、教学设计、学习资源、作业和考试、导学教师七个方面的组织建设;过程评价面向在线教学实施过程的各个阶段，包含导学过程、学习支持、学习互动、作业评估、技术支持;成效评价是面向学生满意度、教学成效、学习成效、其他成效以及课程可持续性（如良好的课程声誉）的分析，以问卷、测试等定量方式为主，辅以学生的反馈和评论。上述两种在线课程教学质量评价模式的主要差异在于过程评价之前的两类评价阶段：基于CIPP的网络学习跟踪与评价模式在背景评价与投入评价阶段，主要关注学生的前期学习准备情况与学习条件，目的在于调整教学方案与学习方案;PDPP评价模式评价在计划评价与开发评价阶段，主要关注课程所具备的开发价值与组织建设情况。

上述评价模式所划分的评价阶段均体现出围绕特定的学习目标组织适宜的学习内容、选用适宜的教学方法与网络平台、组织适宜的交互性学习活动，同时包含对学习效果的评价。在整合上述两种在线课程教学质量评价模式的基础上，本研究在分析院校具体评价指标时，将面向混合教学课程的教学设计（设计评价）、课程建设与平台筹备（开发评价）、教学实施过程（过程评价）、教学效果（效果评价）四个阶段展开分析。

二、研究问题与研究方法

（一）研究问题

本研究关注职业院校在线课程教学质量评价的规划与实施情况，具体回答下述两项研究问题：一是疫情防控期间职业院校如何开展在线课程教学质量评价;二是如何针对院校在线课程教学质量评价实施情况，改进在线课程教学质量评价。

（二）研究对象与数据收集方法

本研究采用的资料来自2020年2—3月疫情防控期间各职业院校公开发布的新闻报道、线上教学情况总结以及“职业教育领域在线教育应用专题研究”课题中部分院校主动提供的相关文件资料，共收集到53所院校涉及防疫期间在线课程教学质量评价的文件53份，其中高职院校44所、中职院校9所。院校的区域分布情况如表1所示。

（三）研究方法

本研究采用文本分析的方法，基于本文归纳的分析框架以及评价阶段划分，使用NVivo11质性分析软件对院校文本进行选择性编码。文本分析方法是以文本资料为对象，通过分析与整合从而凝练出观点的一种实证研究方法。本研究的文本分析主要分为两个阶段。阶段一：依据罗恩·奥斯顿五要素评价模型分析53所院校疫情防控期间在线教学质量评价方案的完整性。结合院校报告的实际情况，将“评价反馈对象”与“评价结果”部分合并，用于探讨“评价结果的处理方式”;将“数据来源”的内容并入“评价方式”部分，在呈现在线评价方式的同时体现数据来源。此外，考虑到院校间开展评价的关注点与实施评价的人员可能存在差异，增添“评价内容”与“评价主体”要素。综上，本研究在评价方案模型的基础上加以调整，形成适用于院校报告文本的分析框架，包含五个要素：评价目的、评价内容、评价主体、评价方式和评价结果。阶段二：基于CIPP和PDPP评价模式，将评价划分为四个阶段，即“设计评价—开发评价—过程评价—效果评价”，分析院校在线课程教学质量评价具体指标的覆盖面。收集的53所职业院校文本中，有2所高职院校提供了具体使用的在线课程评价指标，分别位于东北地区和华东地区。将这2所院校的评价指标与上述四个评价阶段加以比对，旨在分析它们对于各评价阶段的重视情况。

三、疫情防控期间职业院校在线课程教学质量评价调研结果

（一）53所院校疫情防控期间在线课程教学质量评价实施情况

1.关于评价目的调研结果。54.72%的职业院校并未报告开展在线教学质量评价的原因，仅24所职业院校报告了评价目的，其中8所职业院校开展在线教学质量评价旨在对当前在线教学情况进行诊断与监督，希望了解师生在線教学、管理、实施情况;16所职业院校关注到评价的调节与激励功能，旨在通过评价结果及时发现问题并加以改进，从而提高在线教学质量。

2.关于评价内容的调研结果。院校报告的评价内容信息繁杂，但主要集中于对教学过程与教学效果两方面的评价。前者主要关注师生教学行为、教学形式、教学活动、教学秩序、学生线上出勤、学生参与度等信息，聚焦于在线教与学的过程性组织与实施情况;后者多关注师生的在线教学/学习满意度、认同度，以及学生对在线教学的参与度与测验完成效果等信息，聚焦于在线教学的整体实施效果。仅少数院校开展了对教学准备与教学资源的评价，前者有3所，主要涉及对学生学情与教师教学准备情况的评价;后者有7所，关注教学资源的建设质量。此外，有1所院校在监测在线教与学的情况之外，考虑到防疫期间在线教学这一特殊时期，将线上教学意识形态也纳入评价内容。

3.关于评价主体的调研结果。院校评价主体多元，28所院校的校级督导部门以学校教务处、教学质量控制中心为主，16所院校的二级学院质量督导与评估由二级学院教学负责人承担。具体实施时，大部分院校设立院系两级督导，对各教学单位线上授课课程实行全覆盖监控，保障在线教学质量监管。14所院校将教师与学生群体纳入评价主体，教师是在线教学的实施者，学生是在线教学的直接受众，院校依据师生的评教反馈评判教师在线教学效果。

4.关于评价方式的调研结果。根据院校所报告的在线评价方式，多为“线上巡课、平台数据、学校抽检、师生问卷”四种方式的排列组合，结果如图1所示。在报告了在线教学质量评价方式的41所院校中，有51.21%的院校采用了单一的评价方式，采用频率由高至低分别为：教学主管或教学督导线上巡课，占19.51%;基于平台数据的监督反馈，占14.63%;师生问卷调查，占14.63%;学校抽检教学设计单或教学记录，占2.44%。采用多种评价方式的院校中，最常用的方式为平台数据与师生问卷相结合，占19.51%;其次为线上巡课与平台数据相结合的评价方式，占9.76%。

5.关于评价结果处理方式的调研结果。评价结果的处理方面，仅有22所院校进行了相关报告，31所院校虽然开展了在线教学质量评价工作但并未对评价结果进行分析，说明疫情防控期间院校更加注重在线教学质量评价行为而忽略了对评价结果的报告与跟进。针对院校对评价结果的处理方式，有6所院校仅对评价结果进行客观描述，未进一步阐述是否将结果进行报告反馈或将结果作为后续在线教学调整的依据;有16所院校采取日报（2所）、周报（3所）、月报（1所）或其他时间段定期报告（4所）等形式将评价结果提交教务部门，其中仅有6所院校报告了反馈评价结果后的进一步跟踪处理行为，并将评价结果作为教学调整依据，进行在线教学质量跟进监督，以改进教学。

（二）两所院校防疫期间在线课程教学质量评价阶段赋值情况

两所院校案例的评价指标及赋分情况如下页表2、表3所示，在各个评价阶段的分值分布情况如93页图2所示。结果表明，院校在实际开展在线教学质量评价时，基本遵循“课程设计—开发—应用—评价成效”的顺序设定具体评价指标。两所院校均对教学过程的评价予以高度重视，对此阶段的赋分均达到50分，至少占据整个评价体系的一半分值，说明院校在实际开展在线课程教学质量评价时重点关注教学过程质量，包括教学活动、师生互动以及学生在校学习过程中的学业表现。其次关注开发阶段，对应在线课程建设的质量评定。但是，院校对于教学结果的评价分值存在一定差异，该阶段的分值在不同院校分别为21分和5分。院校在设计阶段普遍赋予较低分值，主要评定对课程信息的呈现与教学日程安排，基本未涉及学习者特征、学习条件与学习准备情况的相关分析。

四、结果与讨论

研究结果表明，大部分职业院校为保证在线教学的顺利开展，都进行了在线教学质量评价活动，部分院校制定了面向教學、课程、平台、教务管理等不同评价对象的质量评价方案，评价主体多元，评价方式多样。有些院校还对评价结果进行了不同形式的反馈，多角度多方式保障在线教学的实施。然而，面对突发疫情，院校整体上处于被动应对的状态，面向在线课程教学的评价体系尚不完善，缺乏系统全面的在线教学质量保障体系，具体表现在以下几个方面：

1.“以评促教、以评促管”的评价意识相对薄弱。评价具备诊断、鉴定、监督、调节、激励、导向等多项功能。通过评价对在线教学进行鉴定，判断其是否符合职业院校在线教学的基本规范，诊断出哪些教育活动做得好、哪些地方存在问题，这只是发挥了评价最基础的鉴定功能与诊断功能。根据当前院校报告中关于在线教学质量评价目的的描述，仅16所院校涉及“改进”目的，说明“以评促教”“以评促管”的意识在当前职业院校在线教学工作中相对薄弱，大部分院校仍停留在将评价结果作为课程选拔与质量鉴定依据的阶段。

2.评价内容维度不全，各评价阶段分值分配有待商榷。结合教学过程，评价内容可分为设计评价、开发评价、过程评价与成效评价四个部分，但疫情防控期间53所院校报告的文本说明在线教学质量评价内容多集中于教学过程评价与教学效果评价，较少关注对教学准备情况与教学资源的评价。通过对2所院校具体评价方案的分析，发现院校均高度关注教学过程的质量评价，对于其他三个阶段的关注度存在一定差异，对各阶段的评价分值分配有待商榷（如案例2中对于整体教学效果的分值仅占在线课程教学质量评价总分的5%），且对于前期课程教学设计的评价关注较少。教学设计作为整个教学过程系统的统筹规划与设计，是联系学习理论、教学理论与教学实践的桥梁，因此，良好的教学设计可视为后续教学实施的重要基石。但结合两阶段的分析结果，院校整体存在对教学前期准备阶段的评价重视不足的情况。

3.部分院校的评价主体未将教师与学生纳入其中。依据调研院校的报告结果，防疫期间的在线教学质量评价多由学校、二级学院的教学督导作为评价主体，呈现出自上而下的在线教学质量保障体系。教师与学生是在线课程教学的直接参与者，但仅部分院校将他们纳入评价主体，说明疫情防控期间院校对师生赋能不够，缺乏自下而上的评价体系设计与规划。

4.评价方式较为单一。依据调研院校的报告结果，疫情防控期间的在线教学质量评价方式为线上巡课、平台数据、学校抽检、师生问卷四种方式的排列组合，但其中半数院校仅将一种评价方式的结果作为评价在线教学质量的标准。

5.对评价结果的应用意识相对薄弱。根据当前调研情况，近六成院校关注到在线教学质量评价的内容与实施过程，但对于评价后的结果及相关处理未做说明;不足四成的院校提出会对评价结果进行定期反馈;仅不足两成的院校报告了将评价结果进行反馈后的进一步跟踪处理行为。

五、对策与建议

质量评价是职业教育教学不可或缺的要素之一，也是提升人才培养质量的重要保障措施。疫情过后，混合教学将成为新常态，构建混合课程教学质量评价体系是职业院校面临的紧迫任务。基于上述防疫期间职业院校在线课程教学质量评价情况的调研，对今后院校开展混合课程教学质量评价提出以下建议：

1.院校层面加强系统设计，制订具有操作性的在线课程教学评价方案。职业院校在研究制定具体的混合教学政策时，不仅要关注混合教学的实施方案，还要重视混合教学实施后的评价措施，结合现状出台具有可操作性的质量监管与评估文件。要统一部署混合教学质量评价主体、确定评价方式、厘清评价维度，方便二级学院与教务管理部门对应执行混合教学质量评价工作，及时监管与改进，保障混合教学质量。

2.坚持多元评价，注重过程评估，实现“以评促教、以评促管”。第一，评价目的方面，建议发挥评价的激励导向功能。院校教学管理者与一线教师在分析评价结果、了解教学情况之后，能够基于评价结果对不足的地方规划改进路径和措施，不断参照评价体系，及时实现自我调节，实现高质量的混合教学，达到“以评促教”“以评促管”的目的。第二，评价内容方面，关注“设计—开发—过程—效果”的教学全过程评价。设计评价阶段涉及对教学方案、教学设计单等教学准备情况的评价，是重要却容易被忽视的部分;开发评价阶段关注教师所选用的教学平台对教学目标的支撑情况、教学平台功能的技术性以及界面设计及教学资源的适用性;过程评价阶段与效果评价阶段除了监测混合教学状况外，还可结合特殊时期对于线上教学意识形态的需求，丰富评价内容。第三，评价主体方面，建议院校采用多元评价主体。院校及二级学院督导合理分工、密切协作，从专家视角发现问题并提出优化建议。同时，要建立自上而下及自下而上的双向评价机制，使教师与学生也有发声渠道。多角度聆听各方关于在线教与学情况的意见与建议，凝聚各方力量，赋权师生，协同保障混合教学质量。第四，评价方式方面，建议院校选用多种评价途径相结合的方式。多种评价方式的有机组合，既关注由传统线下教学质量评价方式迁移到线上而形成的教学督导专家抽检教学设计方案、线上随堂观察、师生填写在线问卷对教学效果与学习感知进行自评与互评等评价方式，又要关注信息化教学在平台产生的大量过程性数据，在线多维度开展评价，多视角分析互相佐证，全方位保障混合教学质量。第五，评价结果的处理方式方面，建议院校加强对评价结果的系统性认知。混合教学质量评价不能仅停留在评价行为的发生状态方面，还应考虑评价结果、向谁反馈、如何跟踪等，将评价结果应用到在线课程教学改进与质量提升的迭代过程中，以达到以评促教、以评促管的目的。

信息时代职业教育的发展要求我们思考主动变革的路径和方略，课程教学质量评价也要从被动评价在线教学开展情况全面转向主动构建混合教学质量评价体系。面对常态化的混合教学，职业院校可吸取本研究所呈现的在线课程教学评价实施的经验和教训，促进混合教学评价质量提升，切实发挥评价对教育教学的“指挥棒”与“助推剂”的作用，持续提升人才培养质量。

[参考文献]

[1]谢幼如，邱艺，黄瑜玲等.疫情防空期间“停课不停学”在线教学方式的特征、问题与创新[J].电化教育研究，2020（3）：20-28.

[2]王敏，高国元，李凤霞，等.疫情期间地方高校在线教学实践的个案调查与分析[J].中国教育信息化，2020（15）：58-63.

[3]陈实，梁家伟，于勇，等.疫情时期在线教学平台、工具及其应用实效研究[J].中国电化教育，2020（5）：44-52.

[4]王繼新，韦怡彤，宗敏.疫情下中小学教师在线教学现状、问题与反思——基于湖北省“停课不停学”的调查与分析[J].中国电化教育，2020（5）：15-21.

[5]杨晓哲，张昱瑾.疫情防控下中小学教师在线教学与在线培训分析[J].现代教育技术，2020（3）：5-11.

[6]金根娣，蔡长春.基于在线开放课程的高职教学评价体系的构建[J].扬州教育学院学报，2020（2）：66-69.

[7]田园.知识服务导向的在线教学效果评价研究[J].情报科学，2020（9）：129-136.

[8]牛东育，蒋晓玫.疫情防控期间高职院校线上教学质量评价体系研究[J].南方职业教育学刊，2020（3）：92-96.

[9]袁铎，郑辉赠，黄虹.疫情背景下地方高校在线教学质量保障探析——以省属地方院校D校为例[J].嘉应学院学报，2020（4）：69-73.

[10]武艳，刘正涛.在线开放课程的混合式教学模式的评价机制研究[J].教育教学论坛，2020（23）：45-46.

[11]韩锡斌，杨娟，周潜.数字化学习环境的应用与评价[M].北京：中央广播电视大学出版社，2015.