李 军 张 辉

（武汉船舶职业技术学院，湖北武汉 430050）

2012年以来，随着教育信息技术的发展，起源于欧美的MOOC（大规模在线开放课程）迅速风靡全球，MOOC的发展打破了国界，被称之为自印刷术以来教育领域的最大革新，我国高校积极跟进，先后在各种MOOC 平台上建设了门类齐全、科目繁多的MOOC，然而质量却良莠不分，给众多学习者带来困扰，造成学习者“持续性不强、退学率过高”等问题，针对此问题，2015年教育部出台了《关于加强高等学校在线开放课程建设应用与管理的意见》[1]（以下简称《意见》），鼓励高校制定在线开放课程认定标准，《意见》的出台标志着MOOC 建设由数量向质量转变。因此，结合学科属性构建MOOC建设质量评价指标体系，对MOOC进行综合评价，以便对MOOC 的优点和不足进行全方位评价，促使MOOC 质量不断提高，是教育主管部门、学校亟待解决的重要问题。

1 MOOC建设质量评价综述

关于MOOC建设质量评价，经过文献分析，主要体现在三个方面：第一、基于教学活动的MOOC质量评价，赵馨蕊、周雨青[2]以教学活动及影响因素为基础建立大学物理MOOC 质量评价指标体系；邱均平、欧玉芳[3]从“教”的角度构建了包含教学队伍、教学内容、教学效果、教学资源以及教学技术五个一级指标的MOOC质量评价指标体系。第二、基于学习行为数据分析的MOOC质量评价，冯雪松[4]等人分析了北京大学MOOC 的学习行为数据，从定性和定量两方面探索出一套提高MOOC质量的评价体系；吴守荣、崔燦等[5]通过问卷调查和网站上学习行为数据分析，从学习者角度对MOOC教学效果进行评价；殷丙山、郑勤华、陈丽[6]建立基于大数据的在线教育评价指标体系，指出基于大数据的评价指标体系是日后发展的方向。第三、基于学习体验的MOOC质量评价体系，顾曰国教授[7]在全国首届“MOOC时代的高等外语教学学术研讨会”上提出学习体验的整一与和谐问题是衡量MOOC课程的标准，特别强调情感学习是知识、技能学习的基础；刘书青、孟昭鹏[8]以专家为主体和学者为主体的评价方法对MOOC平台的用户体验进行研究，指出MOOC建设者对审美、情感维护关注较少。

综上所述，学者们以不同的视角构建的MOOC 质量评价体系对本研究有极大参考价值，但是也存在如下问题：第一、评价指标单一，学者们在构建评价指标时仍然偏重教师的“教”忽略学生的“学”，这不能充分发挥MOOC“教师主导、学生主体”的功能。第二、忽视情感学习，情感学习是知识、技能学习的基础，学习过程中产生的积极情感不仅能增加学习者对课程的黏度和参与度，还能促进学习者对课程进行积极评价[9]。第三、评价指标没有考虑课程属性，课程所属的专业千差万别，课程属性也是大相径庭，建立的评价指标应充分考虑课程属性。为了解决以上问题，有必要重新构建一套MOOC 质量综合评价体系，遴选的指标不仅更充分考虑课程属性、情感学习，还要重视教师“教”、学生的“学”，真正体现“教师主导、学生主体”的教学理念，从而推动我国MOOC 建设向高质量方向发展。下面以高职航海类专业为例阐述MOOC质量综合评价指标体系的构建方法和程序。

2 高职航海类专业MOOC 质量综合评价指标体系的构建

科学、合理的评价指标体系是评价研究的基础，评价指标的遴选和体系的构建是一个严谨而又不断完善的过程，首选通过问卷调查、专家访谈遴选出初步指标，然后应用德尔塔法对初选指标进行修正，最后运用层次分析法确定各指标权重，建立如表1所示的高职航海类专业MOOC质量综合评价指标体系。该指标体系从教师、学生和平台三个方面对MOOC 质量进行综合评价，遴选的指标充分考虑了学校属性、专业特点和学生的情感态度。

2.1 教学资源

广义的教学资源是指在教学过程中被教学中利用的一切要素，包括支撑教学的、为教学服务的人、财、物、信息等资源。教师是掌握和应用教学资源的主体，对教师“教”的评价就是对教师如何应用教学资源的评价，经过文献检索、同类指标项借鉴及两轮专家筛选，确定教学资源为一级指标，把“课程资源”、“教学团队”、“教学设计”、“教学活动”和“教学评价”列为二级指标。

2.1.1 课程资源

构成“课程资源”的三级指标主要包括（1）“新颖性”，因为高职肩负着为企业培养高技能型人才，所以“新颖性”着重考察课程资源是否涉及到该学科最新技术、工艺；（2）“实用性”，课程资源是否与航运企业的需求有关，避免学非所用、毕业即失业的现象；（3）“完整性”，航海类专业学生需要参加国家海事局组织的适任证书考试，成绩合格才能上船实习，为此，课程资源必须完全覆盖国家海事局颁发的《2021海员培训大纲》要求。

2.1.2 教学团队

来自名校的优秀教师团队是吸引众多学习者的重要原因，构成“教师团队”的三级指标主要为：（1）“提供组织”，“提供组织”是MOOC 建设学校，学校的教科研水平和声誉与MOOC建设质量息息相关，声誉好、教科研水平高的学校，建设MOOC质量也高。（2）“主持人”，就是MOOC建设负责人，负责人的教科研水平及组织管理能力直接影响MOOC 质量。（3）“教学团队”，MOOC 建设任务繁重，从课程策划、微课录制、多媒体资料上传及上线后的管理均需要专人负责，因此，团队成员不少于3人，一个老中青结合、职称结构合理，知识互补的教学团队是建设高质量MOOC的人才保障。

2.1.3 教学设计

依据教学对象的特点和颁布的课程标准，将不同的教学要素有序安排、制定合适的教学方案被称为“教学设计”。构成“教学设计”的二级指标分别为：（1）“教学目标”，教学目标服从专业培养目标；教学目标包括知识、能力和素质目标；应用“了解、理解、运用”等动词对教学目标进行阐述，帮助学习者了解该多大程度地掌握知识，继而分清学习上的轻重缓急和合理分配精力、时间。（2）“教学方法”，高职航海类专业培养高级应用型人才，传统课堂讲授法也无法满足学生的需求，“项目导入、任务驱动”教学法是目前高职院校大力推广的教学法，用项目导入新知识，激发学生学习动力，以完成某项工作任务为线索，在任务中融入教学内容，鼓励学生提出问题、思考问题和解决问题，从而驱动学生开展学习、探索活动，归纳完成任务的方法和步骤，培养学生分析问题、解决问题的能力。（3）“教学内容”，组织教学内容时，在专业知识中融入航海文化及思政元素，利用文化育人的功能，培养学生人文精神、职业素养，应用思政元素潜移默化地对学生的思想意识、行为举止产生影响；内容编排上按照航运企业典型生产任务设计一系列模块化的学习任务；为了满足部分学有余力同学的学习需求，课后安排拓展学习材料。（4）“学习任务”，学习任务多样化，MOOC学习任务通常包含测试、拓展材料阅读、视频浏览等。

表1 高职航海类专业MOOC质量综合评价指标体系

2.1.4 教学活动

在教育目的引导下，教师的教学活动及学生的学习活动共同组成的双边活动被称之为教学活动。构成教学活动的三级指标分别为：（1）“项目分析”，教师的教学活动就是知识点讲解和课堂组织，高职院校的教学活动与本科院校有所不同，教师对知识点不再重讲授，而以项目的方式引入课堂，并结合生产实践对项目进行分析，因此，项目分析重在评价是否与生产过程对接。（2）“互动交流”，MOOC设有师生交流、生生交流的论坛区，负责人规划合理论坛模块，教师团队应积极参与讨论，及时反馈学生提出的问题，拉近与学生的关系，营造良好的学习氛围，激发学生学习动力。利用Web2.0技术工具，如：电子邮件、博客、QQ、微信等自发组成学习圈，随时随地交流学习。（3）“生生协作”，通过组织学习小组，教师布置大作业，考察学生间资源共享、问题交流及协作学习的情况。

2.1.5 教学评价

大规模、开放性、学习目的及学习对象多元化，决定了MOOC教学评价与传统课堂教学评价有所差别，构成“教学评价”的二级指标为：（1）“评价主体”，评价主体不再局限于督导、领导、学生，而应由参加学习的广大同行、企业专家、学习者共同来评价。（2）“评价方式”，建立过程性评价与总结性评价相结合的评价体系，在参考学习者测试得分的同时，还需参考学习者视频观看、作业完成率及论坛发言次数，多元化评价学生学习态度和知识掌握情况。借鉴Courser独创的同伴互评机制，使学习者从被动的评价者变成积极的评价者，既减轻教师负担，又提高了学生学习的积极性和主动性。（3）“学情反馈”，利用大数据技术，深度挖掘和分析平台数据，例如：注册率、结课率、优秀率；作业、测试完成率、合格率、优秀率等数据，教师团队可以方便地获取“学情反馈”数据，研究学生网络学习习惯和学习偏好，从而进一步改进教法、学法，提高教学效果。

2.2 学习体验

MOOC 作为一种特殊的教育产品，学习者就是用户，学习体验即为用户体验，借用唐.诺曼关于用户体验分类法，本研究将学习体验分为“感官体验”、“行为体验”、“情感体验”、“关联体验”和“思考体验”，从情感和价值的角度又将学习体验归纳为“情感态度”、“内在价值”、“达成价值”和“外在实用价值”。

2.2.1 情感态度

情感态度隶属于情感体验，是学习者在MOOC学习过程中和完成后产生的情感状态的主观体验，强调过程与结果的统一，是动态发展的过程。根据情感态度动态发展的特点，将“情感态度”又细分为下列三级指标：（1）“喜恶感”，学习者对MOOC 直观感受，“喜欢”激发学习者学习动力，“厌恶”促使学习者放弃学习。（2）“存在感”，学习者在学习圈中存在感的高低。（3）“满意度”，学习者对课程体系、平台和课程活动的满意程度。

2.2.2 内在价值

辞海对内在价值的解释：指属于一件事务或一个行动本身，其价值的存在不依赖别的事物或行动结果。内在价值强调主体本身，MOOC 学习的主体是学习者，因此，学习者学完MOOC后内在价值的提升主要表现为：（1）“自身兴趣”，学习者的兴趣是否得到满足。（2）“自我效能”，通过学习，学习者是否获得自信心和成就感。（3）“深层次思考”，经过MOOC学习，是否引起学习者深层次思考。

2.2.3 达成价值

学习者通过学习MOOC，满足了预期结果，表现为专业知识、技能和素养都获得提高。

2.2.4 外在实用价值

外在价值与内在价值总是相对而言的，两者具有不同的层次，外在实用价值是学习者通过MOOC学习能够运用所掌握的专业知识解决实际问题的能力。

2.3 课程平台

教师利用课程平台开发课程，学习者运用课程平台开展学习活动，教师和学习者都是平台用户，良好的用户体验是产品成功的重要影响因素，对MOOC平台而言，良好的用户体验影响学习效果，良好的用户体验体现在学习者对课程平台页面设计和功能的认可。

2.3.1 页面设计

从视觉习惯的角度考察页面设计的优劣，符合视觉习惯的页面设计能吸引用户注意力，培养学习兴趣，因而用户体验较好。页面设计由以下三个指标构成：（1）“页面布局”，页面布局是否合理，课程检索、分类及切换是否合理，是否符合视觉习惯。（2）“学习导航”，导航栏是否清晰，是否符合视觉习惯。（3）“颜色搭配”，是否符合视觉习惯。

2.3.2 平台功能

平台是教育公司开发的产品，产品不仅要满足用户需求的基本功能，还需要突出特色功能，另外，兼容性和稳定性也不可忽视，只有这样，才能获得良好的用户体验，从而提高学习效果。该课程平台的功能又细分为两个指标：（1）“基本功能”，平台是否提供多媒体学习、作业、测试、讨论等基本功能。（2）“特色功能”，是否提供学习分析、学习痕迹跟踪（通过追踪每次登录、浏览、观看视频、参与互动、论坛发帖、完成作业等数据形成每位学生行为数据；通过考核合格的学生学习时长判断MOOC 难易度）、笔记功能、个人学习空间和防作弊功能。

3 层次分析法确定权重

20世纪70年代，美国运筹学专家、匹兹堡大学教授萨迪提出了层次分析法，运用此法可以对被评对象确定优先顺序，确定各级指标的权重，主要步骤如下：

3.1 建立判断矩阵

课题组邀请多位专家，包括MOOC研究专家、MOOC 授课人、平台负责人、MOOC 制作人和学习者，对航海类专业MOOC 建设质量评估体系的同一级指标相对于上一级指标重要程度进行两两比较，并用标度衡量法赋值，构建判断矩阵，其中标度衡量法如表2所示。

表2 标度衡量法

现以某位专家对一级指标两两重要性比较为例阐述判断矩阵的构建方法，该专家利用标度衡量法对一级指标重要性进行两两比较并赋值，如表3所示。

表3 某专家一级指标重要性等级表

利用表3的数据构建判断矩阵：

此矩阵用符号表示为：

3.2 层次单排序

运用判断矩阵计算该层各指标权重称为层次单排序，计算步骤如下：

3.2.1 计算各行元素之和及所有元素之和

依据各行元素求和公式

求得判断矩阵各行元素之和为

根据所有元素求和公式

3.2.2 求各指标权重

各行元素之和除以所有元素之和即为各指标权重，由公式

3.2.3 一致性检验

由于专家在知识、阅历方面的差距，他们对某一问题的看法存在差异，导致构建的判断矩阵可能存在偏差，应用随机一致性比值检验其偏差程度，随机一致性比值公式为

表4 平均随机一致性指标

3.3 层次总排序

对于多位专家的赋值，同样采取上述的方法和步骤分别求出权重，然后加权求平均值，即为该级指标的权重，如此分别求出一级、二级和三级指标的权重，依次求得：

层次总排序就是从高到低逐层计算各层指标相对于上一层而言的权重，方法如表5 所示。例如：在单排序中U11的权重为0.09，U1的权重为0.25，那么U11在层次总排序中的权重就是0.25×0.09=0.0225，依次类推分别求出其它二级指标在总排序中的权重。

表5 二级指标总排序

采用同样方法可以求出三级指标在层次总排序中的权重，就可以构建航海类高职MOOC 建设质量评估体系总表，如表6所示。

4 结语

本研究分析归纳了国内外关于MOOC建设质量文献，结合课程实践，并且参考了不同专家建议的基础上，构建了层次清晰、结构合理的高职航海类专业MOOC 质量综合评价体系，该评价体系从教师、学生和平台三个维度考虑影响MOOC 质量的影响因素，突出反映了综合性特点。本研究运用层次分析法计算出各层指标相对于总目标的权重，方便建设者诊断自身问题，找到提高MOOC 建设质量的方法，同时为后续构建模糊综合评价模型奠定基础。

表6 航海类高职MOOC建设质量评估体系总表