赵馨蕊 周雨青 瞿林云 张志红

(东南大学 1生物科学与医学工程学院，江苏 南京 210096； 2物理学院，江苏 南京 211189)

评价，原指对货物的论质评价，后被广泛用作对事物或人物价值的衡量[1]。教学评价，是通过系统地收集教学信息，对教学质量及其形式、发展过程做出价值判断的一种活动，其目的在于分析教学得失，诊断教学症状[2，3]。大学物理MOOC教学质量评价指的是通过收集教学信息，对大学物理MOOC教学的基本要素进行合理科学的价值判断，评价该门大学物理MOOC的教学是否达到预期教学目标的程度，目的在于不断调整课程教学方法，促进教学水平及教学质量的提升。

大学物理MOOC教学质量评价应将传统大学物理教学质量评价与现代网络教学质量评价相结合，兼顾网络教学与传统大学物理教学的特点，使评价体系更具针对性与有效性。

1 大学物理课程教学基本要求

教育部高等学校物理基础课程教学指导委员会制定的《大学物理课程教学基本要求》(以下简称《基本要求》)是各高校编写教材、授课讲学、考试命题和教学评估的依据，是课程管理和评价的基础，体现了对教师在教学基本内容、对学生的能力培养和素质培养以及教师教学过程的基本要求[4，5]。

1.1 学生培养基本要求

《基本要求》提出以物理学基础为内容的大学物理课程是高等学校理工科各专业学生一门重要的通识必修基础课，该课程所教授的基本概念、基本理论和基本方法是构成学生科学素养的重要组成部分。大学物理课程的教学应使学生对物理学的基本概念、基本理论和基本方法有比较系统的认识和正确的理解，为进一步学习打下坚实的基础。在大学物理课程的各个教学环节，都应在传授知识的同时，注重培养学生分析问题和解决问题的能力，注重培养学生的探索精神和创新意识，努力实现学生知识、能力、素质的协调发展。表1列出《基本要求》中大学物理课程教学应注重培养的知识、能力和素质要求。

表1 大学物理课程中对知识、能力、素质培养的基本要求

1.2 教师教学基本要求

《基本要求》强调大学物理的教学过程，应贯彻以学生为主体、教师为主导的教育理念，遵循学生的认知规律，注重理论联系实际，激发学习兴趣，引导自主学习，鼓励个性发展，营造有利于培养学生科学素养和创新意识的教学环境。《基本要求》对教学过程的要求见表2。

表2 大学物理课程中对教学过程的基本要求

2 MOOC教学质量评价

2.1 国外MOOC教学质量评价

国外的MOOC发展相对来说较早，MOOC评价体系也较完善。较为通用的有美国教学设计与适用专业委员会制定的《在线学习认证标准》(E-learning Certification Standards)，它从可用性、技术性、教学性3个维度(32个二级指标)对在线学习进行了评价。美国培训与发展协会制定的《在线学习课件认证》(E-learning Courseware Certification)主要从可用性和教学设计两个维度进行衡量，其中可用性包括界面使用、安装方便等11个子指标项，教学设计包括目标、内容、策略、媒体、评价等18个子指标项。美国高等教育政策研究所和BlackBoard公司联合发布的《在线学习质量》(Quality On the Line)包括体系结构、课程开发、教学/学习、课程结构、学生支持系统、教师支持系统、评价与评估系统7个维度的标准。

2.2 国内MOOC教学质量评价

随着国内MOOC发展，对MOOC评价的研究逐渐增多，从评价标准制定主体的角度，主要可分为3类：政府机构颁布的网络教学质量评价标准；MOOC平台建设团队自主研发的评价标准；学者研究制定的MOOC教学质量评价标准。

2000年，教育部科技司启动现代远程教育标准研究(DLTS)项目并发布《现代远程教育工程教育资源开发标准(征求意见稿)》，这一标准对网络学习资源、网络课件和网络课程提出了一些基本要求，但并没有提出网络教学的评价标准，无法形成系统的评价指标体系。2001年，我国教育部信息化技术标准委员会发布《教育信息化技术标准CELTS-22.1-网络课程评价规范》，CELTS-22.1标准针对基础教育、高等教育以及职业教育领域中的网络课程，提出了网络课程评价的一般性规范，该标准制定了一套指标体系，规定从课程内容、教学设计、界面设计和技术4个维度评价网络课程质量。2010年，教育部为评选网络精品课程出台的《国家精品课程评审指标》以教学内容、教学方法与手段、教师队伍、教学条件和教学效果5个维度，另加特色及政策支持附加分，构成精品课程评审指标[6]。

成立于2016年2月的全国地方高校优课联盟(UOOC)是一家由深圳大学发起，社会各界共同参与的互联网教育公司，为保障其教学质量，UOOC联盟借鉴2010年《国家精品课程评审指标》颁布了《UOOC联盟上线MOOC质量评价表》及《自查表》，质量评价表主要包含5大模块：教学设计与方法(课程设计、教学安排、教学风格、教学方法)，教学内容与资源(教学视频内容、教学视频辅助内容)，教学活动与考核(在线互动、考核)，教学团队支持与服务(团队成员、教学服务)，教学效果与评价(选课人数、学生评价)。自查表包含课程门户建设、教学运行状态、总体评级3大模块。

国内学者李青和刘娜(2015)以美国在线课程质量量规(Quality Matters Rubric)为蓝本构建了MOOC质量模型[7]。李加军等(2016)在借鉴相关研究成果的基础上确立影响MOOC教学质量的评价指标体系，通过专家打分法和层次分析法获得相应指标权重，形成教学评价、教学过程、导航设计、课程内容设计4维度评价标准[8]。李兴敏等(2016)沿用李加军等人研究出的评价体系，但是更正了其判断矩阵构建中的逻辑错误，并引入评委会表决权重分层和评语等级参数，使得评价结果更准确[9]。谢宾等人(2016)构建的MOOC教学过程质量监控评价体系能够实现教学过程的监控和评价，使教师根据监控数据和评价结果调整教学[10]。

3 大学物理MOOC教学质量评价指标项的建构

综合借鉴上述国内外MOOC评价指标体系的建构思路与权重统计方法，大学物理MOOC教学质量评价指标体系的建构应遵循以下步骤：首先应确定大学物理MOOC教学的总体目标，其次将总体目标逐步分解成一级指标、二级指标、三级指标，并建立评价标准，再运用层次分析法对各项指标权重进行计算，最终形成评价指标体系总表。

大学物理MOOC教学总体目标为“经过大学物理MOOC学习，使学生对物理学的基本概念、基本理论和基本方法有比较系统的认识和正确的理解，培养学生分析问题和解决问题的能力，注重培养学生的探索精神和创新意识，促进学生知识、能力、素质的协调发展”。根据教学总体目标，结合教学系统要素说，在借鉴国内外MOOC教学质量评价与大学物理教学基本要求的基础上，将总体目标划分为6项一级指标、16项二级指标与26项三级指标，如图1所示。

3.1 教学队伍

来自名校的大学物理课程与名师教学队伍是MOOC得以吸引众多学习者参与的重要原因，正如知名MOOC平台Coursera“致力于普及全世界最好的教育”一样，著名高校的优秀课程能够通过在线开放的网络平台得到更广泛、更深入的传播。构成“教学队伍”指标项(表3)的二级指标主要包括： (1)大学物理MOOC的提供组织(多指哪所大学开设的)的大学物理教学水平、专业水平以及科研水平；(2)MOOC主讲人，通常为该门大学物理MOOC的主要负责人，主讲人的教学水平、学术水平、科研能力以及组织管理能力也将影响该门MOOC的教学质量；(3)教学团队，大学物理MOOC制作任务艰巨、工作繁重，从课程编制、视频录制到课程上线后的管理均需有专人负责，因此MOOC教学团队人数不应少于3人，且团队成员结构合理、分工明确。

图1 大学物理MOOC教学质量评价指标项

3.2 教学目标

教学质量评价是利用教学评价的理论和技术对教学过程及其结果是否达到一定质量要求做出价值判断，教学质量评价作为教学活动的必要环节，应在正确的教育教学价值观的指导下，依据一定的教学目标，遵循特定的程序和方法，全面、客观、准确地进行判断。由此可见，教学目标的设定至关重要，科学合理的教学目标影响教学活动的组织和教学评价的导向。教学目标的评价应遵循以下原则： (1)教学目标的传达应明确清晰不含糊。在MOOC教学中，教学目标不应仅存在于教师的教案中，而应在课程正式开始前，向学生清晰传达课程总目标和各章节教学目标，运用布鲁姆的教学目标分类理论，采用“知道、理解、运用、分析、综合、评价”等动词进行描述，以使学习者明确自己应在何种程度上掌握该知识，帮助学习者分清学习上的轻重缓急，合理分配时间和精力。(2)教学目标中的整体课程目标与各章节目标要科学合理、难度适中，充分考虑不同教育背景、不同年龄阶段学生的学习水平和身心发展水平。(3)教学目标应遵循多样化原则，包括知识目标、技能目标和情感目标。教学目标指标项的建构见表4。

表3 大学物理MOOC“教学队伍”指标项的建构

表4 大学物理MOOC“教学目标”指标项的建构

3.3 教学方法与手段

教学方法与手段在教学中具有重要的意义，不仅因为教学方法运用不当就不能完成一定的教学任务，而且在于教学方法关涉教师组织、引导学生学习科学文化知识，获得相应发展的基本活动。区别于大学物理传统课堂教学，大学物理MOOC教学方法与手段运用了“互联网+”与多媒体技术，更贴近碎片化学习与移动学习需求，教学方法与手段更具时代感。因此，对教学方法与手段的评价，应围绕以下几个维度展开： (1)教学媒体。MOOC多呈现于MOOC网络平台，课程界面应简洁，导航清晰，课程视频画面清晰流程，电子板书工整且整个视频画面色彩得当。(2)教学方法。MOOC教学方法一方面应符合移动学习与在线学习的特点，另一方面也要注重教学方法的多样性，教师应灵活运用多种行之有效的教学方法，以讲授法为主，辅以启发式、讨论式，充分发挥MOOC所具有的“大规模”“在线”“开放”的特质。(3)教学手段。教学手段是指为完成教学任务，配合某种教学方法而采用的工具、资料与设施，由于大学物理知识具有一定抽象性和概括性，这要求教师在讲授知识点时应辅以模型和演示实验，以帮助学生观察物理现象，增加感性知识，提高学习兴趣，但是教学手段应服务于教学目的，科学选取合理的教学手段是关键。教学方法与手段指标项的建构见表5。

3.4 教学内容

教学内容是教与学相互作用过程中有意传递的主要信息。在大学物理MOOC教学质量评价中，对教学内容的评价主要包括课程概述、教学设计与教学资源。首先，课程页面应提供教师和教学团队介绍，课程内容简介，明确说明该课程的考核方式、学分及认证的相关要求，同时考虑到学习者的广泛性和知识背景的差异性，应向学习者说明学习该门物理课程所应具备的基础物理知识和运算技能。其次，教学团队在教学设计中应注重“教学前测”“课程框架和重难点”“课时设计”3个环节，由于学习者来源的广泛性，在正式教学前应以问卷等方式收集学习者基本信息，包括年龄、知识结构、专业背景、学习需求等信息，教师以此为基础适当调整教学步骤与内容，并给予个性化指导；在每章节正式学习前，应明确告知学习者课程结构框架和本章学习的重难点，给予学习指导和建议；课程总学时时长适宜，每周学时分配合理，使学习者感到学习节奏张弛有度、不急不缓。最后，大学物理MOOC教学资源丰富，通常包括“教学视频资源”“视频辅助资源”和“教学练习资源”3大模块，教学视频资源是最主要的教学资源，视频知识点应当讲授清晰、内容安排合理且符合逻辑，难度适中，内容丰富，与视频相配套的教学资源应有PPT、文字课件、拓展阅读材料和参考书目，以供学习者课后巩固和拓展，每课应配备相应内容的练习题，课后练习题难度和题量适中，章节测试与期中、期末测试题库制作完善。教学内容指标项建构见表6。

表5 大学物理MOOC“教学方法与手段”指标项的建构

3.5 教学活动

教学是在一定教育目的规范下，由“教师的教学活动”与“学生的学习活动”两方面统一组成的双边活动。在这一活动中，教师是教学的组织与引导者，学生是教学的对象，学生在教师有计划地组织与引导下，能动地学习、掌握系统的科学文化基础知识，发展自身的智力与体能，养成良好的品德与美感，逐步形成全面发展的个性。一方面，在“教师活动”中，教师的基本活动就是知识讲解与课堂组织，这要求教师在讲授知识点时课程导入明确，重点突出，条理清晰且富有科学性，教师应合理地控制教学节奏，教学过程中仪态自然大方，语速适中，语调富有感召力，此外,大学物理MOOC多设有在线讨论区，教师与助教应积极参与讨论，及时回复学生提问，利用讨论区激发学生自主学习的积极性，拉近师生关系，营造热烈的学习氛围。另一方面，在“学生活动”中，学生的学习活动主要通过课程访问情况、课程学习情况与在线交互情况体现出来，通过统计该门大学物理MOOC的学习者报名人数、课程被访问次数、授课视频观看次数、讨论区发帖数量等数据，可反映出学习者参与度。教学活动指标项建构见表7。

3.6 教学评价与反馈

大学物理MOOC的教学评价可分两步走，首先是每节课后的“作业测评”，其次是“课程测评”(包括期中测评与期末测评)。(1)作业设计应难度适中，题型多样，除选择题、计算题也可采用问答题、论述题、探究题等多种题型，以综合考察学生多方面的能力，作业批改后也应及时反馈，指出错误所在并提供解决思路，有助于学习者纠错和改进。作业完成率(完成作业的学生人数与选课总人数之比)与作业合格率(作业评分合格人数与选课总人数之比)能够体现出学习者的学习态度和知识点掌握情况。(2)在课程测评中，教学团队应遵循过程性评价与总结性评价相结合的原则，在参照学习者课程测试得分的情况下，同时参考学习者的讨论发言次数、平时作业测评情况和视频观看情况，多方面、多元化地考查学习者的学习态度和知识掌握程度，并且以课程目标与教学目标为出发点，评价学习者在何种程度上达到了预设的教学目标。课程完成率(完成课程的学生人数与选课总人数之比)与课程合格率(课程评分合格人数与选课总人数之比)为教师掌握课程整体完成情况提供了视角。 教学评价与反馈指标项建构见表8。

表6 大学物理MOOC“教学内容”指标项的建构

表7 大学物理MOOC“教学活动”指标项的建构

4 层次分析法计算权重

层次分析法是美国运筹学专家、匹兹堡大学教授斯塔(T.L.Saaty)提出的，此法可用来评定被评对象的优先次序，确定各指标的权重。本文邀请来自东南大学、同济大学、山东大学、东北大学、吉林大学5所高校的15位大学物理MOOC教学领域专家依照层次分析法对权重进行评分，主要步骤如下。

4.1 建立判断矩阵

笔者将总目标分解成多级指标(见图1)后，专家对同一层的指标进行两两比较，按其相对重要性程度，用斯塔相对重要性等级表(见表9)赋值，并形成判断矩阵。

表8 大学物理MOOC“教学评价与反馈”指标项的建构

表9 斯塔相对重要性等级表

现以山东大学某专家评分为例。第一层教学队伍包含提供组织(记为B11)、主讲人(记为B12)、教学团队(记为B13)3条指标，将B11与B12相比较，专家认为B11比B12稍微次要，则在B11行B12列填1/3；将B11与B13相比较，专家认为B11比B13同等重要，则在B11行B13列填1；同理，将B12与B13相比较，专家认为B12比B13稍微重要，则在B12行B13列填3，如表10所示。

表10 山东大学某专家第一层次(教学队伍)重要性等级表

这个矩阵用符号表示，即成为

这个判断矩阵的特点：为n阶方阵，矩阵的主对角线元素皆为1，Bi与Bj是Bj与Bi重要性程度等级的倒数。

4.2 层次单排序

层次单排序就是根据判断矩阵计算本层次各指标的权重。其步骤如下：

4.2.1 分别求出判断矩阵中各行相对重要性等级之和以及所有等级之和

各行等级之和：

所有等级之和：

4.2.2 求各指标权重

各指标权重等于判断矩阵中各行相对重要性等级之和除以所有等级之和。

公式为

于是，3个指标的权重为

4.2.3 层次单排序一致性检验

由于人们认识上有差异，上述判断矩阵可能不具有一致性。为此，我们用随机一致性比值对其偏差程度进行一致性检验，其公式为：

在这里，CR表示随机一致性比值;CI表示一致性指标，RI表示平均随机一致性指标。

当CR≤0.1时，可认为判断矩阵具有一致性，即层次单排序有效；当CR>0.1时，可认为判断矩阵偏差太大，需对评分重新修改，直至具有一致性为止。

在这里，λmax表示判断矩阵的最大特征根,n表示判断矩阵的阶数。

当λmax=n时，CI=0，这时，n阶判断矩阵具有完全一致性；CI越大，判断矩阵的一致性越差。

上式中的λmax为

仍以上例述山东大学某专家第一层次重要性等级排序为例，该例中，

RI可根据判断矩阵的阶数n，从表11直接查得。

表11 各阶数判断矩阵RI值

4.3 多位专家等级排序汇总

上述以一位专家第一层次“教学队伍”等级排序为例，说明层次分析法构建矩阵求权重的步骤，因本文采纳了5所高校15名专家意见，故采用上述矩阵法求权重后，将15位专家给出的权重求平均数后，“总目标”与6项一级指标权重向量汇总如下：

“总目标”排序权重集为WG={0.17、0.19、0.17、0.19、0.14、0.14}

“教学队伍”排序权重集为W1={0.31、0.41、0.28}

“教学目标”排序权重集为W2={0.39、0.31、0.30}

“教学方法与手段”排序权重集为W3={0.29、0.43、0.28}

“教学内容”排序权重集为W4={0.29、0.28、0.43}

“教学活动”排序权重集为W5={0.61、0.39}

“教学评价与反馈”排序权重集为W6={0.49、0.51}

同理可求得二级指标与三级指标权重向量，此处不一一列出。

4.4 层次总排序

层次总排序就是计算相对高一层次而言的本层次各指标的权重，且从高到低，逐层进行。下表中的A1、A2、A3、A4、A5、A6为一级指标，与A相对应的下一层指标B11…B13、B21…B23、B31…B33、B41…B43、B51…B52、B61…B62的单排序结果如下表，那么B层在总排序中各指标的权重就等于这些指标在B层单排序中的权重与相应的上一层指标的权重之积。如B11总排序的权重为0.17×0.31=0.0527，B21总排序的权重为0.19×0.39=0.0741，见表12。

表12 层次B总排序表

续表

同理可求得各三级指标权重，即可构建出大学物理MOOC教学质量评价指标体系总表,如附件1所示。

5 结语

本文基于大学物理教学基本要求与诸多国内外网络课程评价指标，采用层次分析法构建大学物理MOOC教学质量评价体系，旨在为遴选高质量大学物理MOOC提供标准，提高大学物理MOOC质量与教学水平。本文采用的层次分析法共选取5所985高校15位大学物理MOOC教学的一线专家意见，将其等级评分表进行汇总后建立矩阵，求得单层次权重并进行单层次一致性检验，剔除一致性检验不达标的数据，求得15位专家权重的加权平均数，最后做总层次排序，完成指标体系的构建。尽管层次分析法所采用的数据来自专家意见，具有一定程度上的主观性，不同专家对权重分配存在一定差异，但笔者通过对15位专家权重进行加权平均后发现，各指标项所得到的结果较为趋同，且本研究成果经专家论证合理可行。

附件1 大学物理MOOC教学质量评价指标体系

续表

续表

■