APP下载

本科院校实习质量评价模型及通用指标体系

2022-03-07朱惠兰

上海教育评估研究 2022年1期
关键词:矩阵指标体系指标

朱惠兰

(浙江师范大学工学院,浙江金华 321000)

18世纪60年代,英国发生工业革命,蒸汽机的工业应用解决了机械化生产的能源问题,生产技术的产生突破性发展,从而导致技术技能工人的需求激增,“三明治课程”(sandwich course)由此诞生,即学生半年在学校,半年在工厂,如此循环,这也是实习行为的最早起源。可以看出,实习活动在诞生之初与经济发展紧密相关。我国早期的实习制度可以追溯到20世纪50到70年代,这一时期的实习制度富有浓厚的计划经济色彩。学校在前一个年度提出实习计划,上报教育主管部门,教育主管部门和国家计划委员会统筹规划,给各接受实习任务的不同企业下达指令。由于在职员工数量不足或是质量不高,实习生的进入对于提高实习单位效益有着积极影响,同时在国家统一要求下,高等学校投入了大量资源用来组织、管理实习。因此,外有单位的需要,内有高校的重视,实习质量有所保障。八十年代以后我国逐步向市场经济过渡,中共中央决定逐步扩大企业和高校自主权,一直到十四大召开,我国正式从计划经济走向市场经济。在此背景下,1998年颁布了《高等教育法》,明确指出高校享有自主制定教学计划、实施教学活动的权利。至此,实习作为高校重要的教学环节,已经转变为高校行为,实习单位的选择也完全由高校自主决定,政府只对实习活动间接引导。

在早期,高校学生的实习由政府统一安排和协调高校与企业的管理,既保证了实习质量,也促进了企业的发展。然而,实习已经转变为高校和企业合作的教学行为,少了外部监管机制,高校学生的实习质量如何保障呢?在此背景下,构建科学合理的实习质量评价指标体系就显得尤为重要。

一、实习质量评价的研究现状

在高校与企业实习教学的合作过程中,产生了多种多样的实习形式,本文所指的实习专指毕业实习,即由学校谋划、在企业环境中产生的与学生所学专业高度关联的实践活动。目前,针对本科层次实习质量评价的研究较少,已有研究大多集中在高职顶岗实习质量评价和本科某一专业的实习质量评价两个方面。

在高职顶岗实习质量评价中,比较有代表性的是学者易兰华的研究。研究者基于利益相关者视角,尽可能多地收集不同主体在实习过程中的诉求,最后采用AHP法确定指标权重,构成了高职院校顶岗实习教学质量多元化评价指标体系。[1]时会美等人从高职学生顶岗实习的学生和准职业人双重身份出发,构建了5个一级评价指标,[2]陆善兴则从实践主体和客体两个层面,对四个主题八个要素做出考虑,据此设计了实习实训质量评价体系。[3]在本科专业实习质量评价中,学界更多讨论的是教育实习评价问题。王邦勇参照《幼儿园教师专业标准(试行)》中的领域维度,设计了4个层次10个指标的学前教育专业学生顶岗实习实效性评价指标体系。[4]也有学者对专业实习基地构建了评价指标体系。如余邵胜等人通过分析能源与动力工程专业的实践教学目标,采用德尔菲法设计了3个二级指标,9个三级指标。[5]

在大众创业、万众创新的背景下,在中国制造2025战略的推动下,高校实习的重要性日益突出。评价能够推动实习质量的快速提高,然而并未引起足够的重视。实习质量评价至少还存在以下问题:实习质量评价体系的限定主体多为高职或本科层次某一专业,以本科院校整体为单位出发的研究较少,即目前还没有建立起校院两级的实习质量评价体系;质量评价的根本目标是“以评促教”,因此选择合理的价值目标就成为关键,而这点在已有研究中少有提及;就评价活动而言,站在不同的角度得出的评价结果必定有所差异,因此需要一套科学的理论依据,但大多数研究并未做到。另外,有些评价指标体系是依据不同利益相关者对实习质量的诉求而构建的,是否具有合理性?每个评价主体都有自己的评价标准,如何同时满足所有利益相关者的要求,并将各方要求综合平衡是这一研究模式的难题。

二、实习质量评价模型构建

实习是一个复杂的系统工程,有必要采用模型化思维构建实习质量评价体系。同时,实习质量评价是评估活动,必然带有一定的价值取向,因此在模型设计之初就应该考虑到价值因素,保证价值取向和指标体系的一致性。

1.实习质量评价模型的构建依据

(1)实习质量评价的价值取向

近年来对实习的“实用性”价值取向的批判越来越多。如在教育领域,有学者认为学校实习时间短暂,并且连续性差,不可能培育学生的教育实践能力。另一方面,从教师专业发展规律来看,要想使得实习教育成为专业性的活动,当务之急应该是构建教师专业知识体系。如工程类的实践,专业要求较高,必须有理论的指导,这样的理论对于他们指导实习来说是必不可少的。显然,批判者们更加侧重实习的学术价值,但是这一实习价值取向忽视了教育与国家经济增长的关联性,不利于创新创业教育的发展。值得关注的是,在当前就业难的背景下,也有学者认为大学生就业能力的缺口是导致人才市场职位空缺和失业共存的主要原因,只有高校明确以“提升大学生就业能力”为发展宗旨,才有可能减轻大学生结构性失业的压力。而在学校语境下,除了包裹在课堂教学中的就业能力外,实习无疑成为提升就业能力的主要方式。已经有大量学者通过实证研究得出结论,实习实训对就业能力具有显著影响。比如,卿石松等人运用Probit模型对山东省2007届高校毕业生就业能力与就业现状做了调研,调研结果表明实习不仅能够提升大学生就业能力,也能够直接促进大学生就业。[6]

价值取向是构建评估体系的底层逻辑,直接作用于评估模型的运行。“应用性”和“学术性”都是一种过于片面的价值取向,而“就业能力导向”的实习观符合当代“以学生需要为中心”的教育评价理念。联合国教科文组织曾指出,要“培养学生的就业能力能够帮助个体获得相应的生产、生活能力,满足特定时期内劳动力市场的需要,从而协助个人更好地适应社会的发展”。

(2)CIPP评价模式

1966年,美国学者斯塔弗宾提出了著名的“CIPP评价模式”,CIPP评价模式又被称为“决策导向评价模式”。这一评价模式是为管理者科学决策服务的,评价目标是为了改进当前活动。“CIPP评价模式”颠覆了以往“评价是为了描述评价对象水平并作出区分”的认知,因此,一经推出便得到广泛的认可,例如联合国教科文组织发布的《世界教育报告》中采用的指标系统就是沿用了CIPP的模式。具体来看,CIPP评价模式分为4个组成部分,分别是背景评价、输入评价、过程评价和结果评价。背景评价是在了解评价对象主客观背景的前提下,找出教育目标和教育实际之间的差距;输入评价是为完成教育目标而采取的教育行为的可行性进行评价;过程评价是对方案实际运行过程的监督与反馈;结果评价是对教育目标完成度的评判。可以看出CIPP评价模式集诊断性评价、过程性评价、形成性评价、终结性评价于一体,能够形成评价闭环,促进评价对象可持续发展。

实习包括实习前、中、后三个阶段,从实习质量评价的时间节点来看,与CIPP评价维度的分类是一致的。采用CIPP评价模式有助于每一个阶段的科学决策,从而最大化利用实习资源。当前“就业难”是亟需解决的社会问题,通过实习培养学生的就业能力能够有效缓减各方压力。然而,实习价值取向会随着经济社会发展、高等教育改革方向而变化的。我国高等教育正在逐渐实现从“回应市场需求”到“引领市场需求”的转变,相应地,实习是人才培养的重要组成部分,其价值目标也会改变。因此,实习质量评价是一个不断发展的过程,我们只能通过实习质量评价来评估当前实习质量价值取向的实现情况,这与CIPP评价模式更重视过程的理念不谋而合。

2.“一核心、三阶段”实习质量评价模型的构建

基于以上分析,图1展示了“一核心、三阶段”实习质量评价模型。

图1 实习质量评价模型

(1)“一核心”内涵

“一核心”指的是以就业能力为导向的实习质量评价取向,其决定了评价指标的选择。那什么是就业能力,实习对就业能力的哪些方面产生了影响呢?笔者参考了大量实证研究,发现实习对就业能力各个维度均有显著影响,因此笔者总结了现有研究中就业能力的通用结构,即专业知识和技能、个人品质(自我效能感、元认知、职业态度)、通用技能(人际沟通能力、合作能力、解决问题能力),据此构建实习质量评价指标体系。

(2)“三阶段”内涵

“三阶段”指的是实习前、实习中以及实习后,基于CIPP评价模式,分别进行背景评价、输入评价、过程评价和结果评价。其中背景评价和输入评价在实习前开展,这一阶段主要评价实习的环境、物质和制度基础。以往的背景评价忽视了教育与社会、经济及文化的联系,事实上任何教育活动都不可能脱离社会经济而存在于一个与世隔绝的真空中。过程评价是培养学生就业能力的主导部分。实习过程中有没有实习项目、学生是否积极参与是提高学生就业能力的关键问题。结果评价则是对学生实际就业能力的评估,也是检验实习背景与过程有效性的标尺。

三、实习质量评价的指标体系构建

实习质量评价模型为遴选评价指标设定了框架,不同实习阶段应该选择哪些指标评估学生的就业能力成为关键。评价指标体系是教学评估的重要参考标准,直接影响着高校实习教学的质量,因此指标体系构建应该采用主观与客观相结合、质性和量化相结合的方法,并需经过多次论证。

1.实习质量评价指标体系构建

基于“一核心、三阶段”构建实习质量评价模型,笔者总结了中外文献中关于“实习质量”的评价指标,根据“就业能力”的内涵、形成机制,剔除与新增了相关指标,最后在专家讨论的基础上形成了实习质量评价指标体系。指标体系包含了4个一级指标,8个二级指标和23个三级指标(表1)。

表1 实习质量评价指标体系

在背景评价中,毫无疑问,个体的就业能力受特定环境和文化背景的影响,并且由于学生个性倾向和心理特征不同而产生差异。学生实习的过程也是逐渐内化高校和企业文化的过程,在这一过程中,学生的实习动机和实习兴趣与就业能力正相关。因此,企业和高校的环境氛围、学生需求构成了背景评价要素。在输入评价中,导师队伍是影响实习质量的关键因素,由专业知识、专业技能和师资充裕程度构成。另外,实习基地与组织保障是开展实习的先决条件,也是培养学生就业能力的基础。

在过程评价中,实习项目的“实践性”“系统性”直接关联学生的就业能力。其中,“实践性”指的是为实习生分配与专业契合度高的岗位,能够学以致用;“系统性”指的是符合学生认知规律的实习项目安排,综合性、设计性高的项目能够循序渐进地提高学生能力。另外,积极有效的导师指导会提高学生的学习参与度,能够间接促进就业能力的提升。师生参与不仅包括学生与教师的投入度,如学生的出勤率、实习态度,教师的指导时间和指导频率,也包括师生关系,如学生对导师的信任、导师关心学生的程度。除此以外,不少研究表明,学生关心实习考核制度。如果缺少反馈环节,实习系统无法形成闭环,学生的就业能力就很难快速提高。

在结果评价中,根据实习对就业能力的作用维度,设计了专业知识和技能、个人品质、通用技能三个维度,采用企业调研问卷有利于客观评价学生的实习效果。

2.实习质量评价指标体系权重的确定

本研究采用AHP计算实习质量评价体系中的权重。层次分析法(AHP)是美国匹兹堡大学T.L.Saaty教授提出的,之后被广泛应用于评价指标体系的权重计算。其方法是先由多名专家独立地对一个多层的指标体系赋值,然后用数学的方法根据专家的赋值决定最优权值。这种方法大约在20世纪80年代引进到我国,随即有广泛的应用。

(1)建立递阶层次结构模型

模型建构的第一步是分析所有影响实习质量评价的因素,将影响因素自下而上分层,要求上层受下层影响,同一层次内各个指标相对独立。据此,将实习质量评价分为目标层、准则层、子准则层和方案层,目标层即为实习质量总评价,准则层包括实习背景、实习输入、实习过程和实习成果,子准则层为影响每一准则层的因素,如背景评价受到学生需求和环境氛围影响,同样方案层是影响子准则层的因素。

(2)构造各层次的判断矩阵

判断矩阵用来比较出各层次元素对上一层次某一个元素的重要性。具体操作方法是以上一层次某元素为准绳,构造本层次的两两比较矩阵。如以教师队伍为准则,对专业知识、专业技能、生师比进行两两比较,最终形成了9个判断矩阵。

(3)层次单排序及一致性检验

层次单排序指的是某一元素相较于上一层次某元素的权值。通过计算判断矩阵的特征向量和最大特征值即可求得元素重要性。层次分析法的科学性主要体现在由专家采用1~9打分,重要的分值大,对判断矩阵打分,9为最重要,然后通过Matlab软件计算出特征向量和最大特征值。因此,本研究邀请了3位专家对矩阵打分,计算每一指标的平均得分作为权重值。由于评分专家对指标的理解各不相同,为了减少人为因素导致的重大偏差,必须对判断矩阵进行一致性检查。通常,采用一致性比率CR作为检查标准,当CR<0.1时,认为矩阵误差可以接受。否则,需要调整判断矩阵,重新计算。CR的计算公式为:

式中CI是一致性指标,其计算公式由式(2)给出,其中n是矩阵阶数,λmax是最大特征值,CI值越大,矩阵的一致性也就越差。

RI为平均一致性指标,受判断矩阵的阶数影响,可以直接查表获得。经过反复论证,9个判断矩阵均通过一致性检验,表明层次单排序计算结果是可以采用的。

(4)层次总排序及一致性检验

层次总排序显示了某一元素对于整个层次的重要程度。计算方法为某一元素本层次权重乘以它上一层次权值。如学习兴趣的总排序为67%×20.9%。为了保证权重的可靠性,也需要对层次总排序的一致性进行检验,计算结果显示CR=0.01<0.1,最终求得层次总排序,如表2所示。

表2 实习质量评价层次总排序

由表2可见,学生通过实习获得的实际就业能力依然是指标体系的重要影响因子,权重为28.28%。值得注意的是,在学生就业能力培养的过程中,除了实习结果,实习过程的重要性也不容忽视。因此,本科院校需要提高对实习过程的重视程度,改良监督与考核机制。

在层次总排序中,就学生就业能力的相关指标来看,个人品质权重高达14.14%,这对教师指导实习具有重要意义。以往,实习更加侧重知识和技能的提高,认为这些指标能够快速培养学生的岗位胜任力,更容易获得用人单位的青睐。事实上,个人品质作为隐性因素,对就业能力的影响更持续、更显著。根据前文论述,个人品质包括了自我效能感、元认知和职业素养。其中,自我效能感和元认知是对实习活动进行归因和监控,需要不断反思、归纳,如果个体掌握了适合自己的实习策略,就更容易应对复杂多变的工作环境;职业素养是判断“准职业人”品质的重要标准。因此,实习指导老师应该注重引导学生的思维方式,强调实习工作细节。除了学生就业能力相关指标,实习兴趣、实习动机、学生投入度和考核制度对学生就业能力影响较大。因此,高校在开展实习教学时,应该将外部动机与内部动机相结合,以学生兴趣为切入点,为学生制定个性化的实习方案。

我国高等教育已经迈入大众化阶段,这意味着培养满足市场需要的高技术技能一线操作人才是当前高等教育的重要使命。毋庸置疑,实习是大学生实践能力提升的重要环节。实习教学质量评价具有监督、导向功能,有助于“以评促教”,提升实习教学质量。纵观已有的实习教学质量评价模型,本研究从本科学校整体层面出发,致力于搭建起校院两级的评价体系,符合高等教育现代化治理的旨趣。第二,实习评价指标体系以就业能力为价值内核,从背景、输入、过程和结果不同维度保证实习目标的达成,符合经济市场发展的需要。

值得关注的是,随着我国高等教育分类体系的不断完善,对于不同类型高校,如普通本科、应用型本科、职业本科应该怎样分类评价,本文未能涉及。另外,除了“CIPP”评价模式以外,是否还有更合适的评价模式,还有待进一步探索。最后,实习质量评价的价值取向——就业能力会随着时代发展而改变,因此需要常态化调整评价指标及其权重。

猜你喜欢

矩阵指标体系指标
2022城市商业魅力指标体系
交通强国建设评价指标体系
公路工程造价管理绩效评价指标体系研究
主要宏观经济指标及债券指标统计表
主要宏观经济指标及债券指标统计表
构建市(区)人才发展管理服务水平评价指标体系
主要宏观经济指标及债券指标统计表
多项式理论在矩阵求逆中的应用
主要宏观经济指标及债券指标统计表
矩阵