APP下载

大学生学习满意度测评逻辑模型的构建

2013-06-14史秋衡

大学教育科学 2013年4期
关键词:逻辑变量评估

□史秋衡 文 静

大学生学习满意度是高等教育管理中的一项重点与热点议题,已成为高等教育利益相关者亟待了解的内容。目前,对大学生满意度的测评与研究主要以问卷调查的形式进行,通过对所搜集调查数据的编码与统计分析得出相应结果。公布是否满意的数据结果只是一个开端,更重要的是通过测量深度挖掘大学生学习满意度的内部结构、数据内涵以及原因,从而能够构建出评价学习满意度的方式与机制。

一、大学生学习满意度测评的逻辑内涵

大学生在接受、体验高等教育的过程中,扮演着多重角色。以学生为主体、以学生为视角的研究能够从“学”和“学习者”的角度对高等教育进行全面剖析,其中一个重要议题即是大学生对于学习的满意度。真实、有效、客观地测量出目前我国大学生的学习满意度,并建构评价模型与机制,是该方面研究亟待解决的命题。深度探求出我国大学生学习满意度的内涵,并分析其逻辑结构,便是这项研究的逻辑起点。

1.大学生学习满意度测评是提升高等教育管理质量的有效途径

满意度是学生学习情况的重要组成部分,是其对大学学习感知与期望之间绩差最直观的表征。无论学生个人还是群体,均能对所接受的大学教学进行反馈。而站在项目管理的角度,学习满意度的测评有利于监测项目实施效果,对绩效作出评定。以大学生为主体,通过学习满意度的测评,可反映其所在院系制度建设的效果,从多方面折射出高等教育质量管理的现状,给进一步提升高等教育质量作出参照。

(1)我国大学生学习满意度测评已有充足准备。大学生学习满意度的测量与评价是学习状态指标的重要组成部分,是阐明整个大学生学习情况的关键性指标之一。2011年,“国家大学生学习情况调查(NCSS)”开始展开全国范围内的抽样调查,将满意度作为测量工具中的重要板块,形成制度性、周期性的全国大学在校生调查[1]。审视大学生学习满意度的研究状况,以具体案例、区域为单位的研究居多,众多研究结果为研究的继续深入作出了铺垫,并意识到大学生满意度测评应从制度环境与理论认识两方面得到改善,以理论研究的突破、增强对满意度极其重要性的认识以及强化学生深度参与来完善对大学生学习满意度的测量和评价模型的构建[2]。

(2)构建大学生学习满意度评价模型是我国高等教育顶层发展战略的体现。我国目前需要建立真正切实有效的大学生学习满意度的测量与评价制度,并与学习情况、项目评估和制度建设挂钩,通过满意度评价的测评反映出大学教学和质量管理,从而有针对性地进行加强和改善。《国家中长期教育改革和发展规划纲要(2010~2020年)》对人才培养质量提出了要求,强调了其中心地位,指出健全教学质量保障体系和改进高校教学评估的同时,需要从学生角度出发,充分调动大学生学习的积极性和主动性。因此,对学习满意度的评价模型,不仅是建立学生体验大学学习过程、状态的反馈机制,更是在充分贯彻和切实践行我国教育发展顶层设计的精神要旨。

2.高等教育管理中的逻辑模型

逻辑模型(logic model)通过逻辑组合的形式系统描述过程、对象以及他们之间的关系,用逻辑图表直观呈现系统如何运作,以及将会出现的结果。由于逻辑模型能够清晰勾勒活动中各项资源的逻辑关系、活动或者事件进程、所产生的结果或者变化以及剖析事件的影响,因而逻辑模型也被视作事件进程的“路线图”[3]。事实上,逻辑模型是通过框架的形式描绘出项目的实施方向(where)、如何达到目标(how)以及出现的结果(what will show)。与其被视作是一种理论或者是现实呈现的方式,不如说这是一种用于构建资源、活动与结果之间关联的框架,并且提供了一种规范的方法将计划、实施、评估和报告整合起来,形成一体化的分析流程。

(1)逻辑模型是高等教育管理中的重要分析框架。在追求“质”的提升的主旋律下,逻辑模型能够在高等教育领域发挥作用。从项目实施与推进的角度来说,逻辑模型本身即是对项目进程的勾勒,梳理所涉及的各项资源、利益相关者之间错综复杂的关系,全面描绘项目进展。从质量管理的角度来说,逻辑模型能够呈现所发生的高等教育事件的现实结果与长期影响,不但便于检测是否达到预期目标,而且在监控的同时还起到了一定的预测作用。从评价与问责的角度来说,逻辑模型将资源、事件、进程、结果与影响全部呈现,便能很容易从逻辑框架中追根溯源,并且能够从结果给予反馈,倒推至过程检查,从而实现改进[4]。

逻辑模型作为结果导向(results-based)的实证型评价方式,可以在具体集中项目、大型综合项目、过程评估、组织、具体事件或者产品评估中广泛使用。它提供了采用逻辑图表的形式来厘定主要结构和变量的思维方式,对项目的进程与结果进行界定,同时也展示这些变量之间的内在联系以及对结果产生的影响[5](P105-135)。目前,这种分析框架已经运用在高等教育财政、管理等领域。

从原理来看,逻辑模型能够很好地切中大学生学习满意度测评的要旨,通过所呈现的结果来反观过程,能够为满意度的提升和更有效率的大学教与学起到积极作用,帮助决策制定和质量提升。从方法来说,逻辑模型对各种资源和数据的真实客观性提出了高要求,以实证调查的数据作为输入资源,利用过程合理推导结果,并且分析直接影响和深远影响,据此反馈至项目设计、研究假设以及过程改进。

(2)在高等教育评价中使用逻辑模型的优势。一般意义上讲,逻辑模型的主要作用在于计划、项目管理、评估和交流[6]。在高等教育项目运行与评估过程中,使用逻辑模型能够有效建立起对该项目的深度认知,整合项目的所有资源与观测所预期的结果,从而有利于进行理念的传递、研究假设、团队组建以及沟通交流。同时,通过逻辑模型的构建,有利于项目的设计与改进,以帮助平衡项目内外各项资源,并能考虑到各项资源之间的沟通与交流,以避免信息不对称造成的负面影响[7](P65-72)。

从运行标准来看,逻辑模型是以真实而明确的模型来呈现在不确定条件下,项目会如何运行而产生何种可能的结果,从而验证是否能解决问题的过程。因此,逻辑模型是建立在对项目有预期绩效的基础上的[7](P65-72)。从结构来看,基本的逻辑模型主要由输入(inputs)、进程(activities)、输出(outputs)、结果(outcomes/impacts)这几个部分构成,由此而产生逻辑关系,构建出逻辑模型框架。输入(inputs)部分主要涉及目前所拥有资源(人、财、事、物、信息等)的整理,活动进程(activities)包括活动进程与任务安排、参与人员两部分,输出(outputs)则呈现通过这项活动会产生什么样的直接结果,而结果(outcomes/impacts)的部分则更加侧重于分析从短期到中长期甚至长期的影响,范围由点到面,影响力度从微观到宏观。

3.大学生学习满意度测评的逻辑要素

(1)大学生学习满意度研究由诸多要素组成。调查、测评及研究大学生学习满意度的各个环节均涉及诸多要素、资源和利益相关者,因而完全有必要利用逻辑模型的优势将其统合,形成对各类资源的监管,从而进行过程监控和结果评价,并由此形成反馈效应,实现质量管理与持续改进。当然,逻辑模型主要针对大学生的学习满意度结果建立分析框架,在整合测评相关资源的基础上,从各个不同的角度建立研究与评估学习满意度的模型,运用调查数据建立逻辑模型进行分析,揭示现状并反映影响,为决策制定提供有力的证据。通过实证调查、数据分析而构建的大学生学习满意度的逻辑模型,证据翔实、过程科学、结论合理,对高等教育的进一步改革具有参考价值。

(2)在逻辑模型下统合大学生学习满意度的要素。从本质上说,逻辑模型是用来完成对项目的逻辑梳理与评价的一种分析框架与思维方式,大学生学习满意度作为高等教育管理中的一个重要命题,可以运用逻辑模型使各要素得到统合,通过逻辑框架完成评价过程。如果把大学生体验高等教育视作一个整体性过程,学习满意度测量与评估即是大学生对该过程的自我评价项目,是通过大学生在高等教育过程中的体验与评价所形成的数据来实现评估,因此可以利用逻辑模型来进行学习满意度的评价。

二、逻辑模型在大学生学习满意度测评中的使用程序

逻辑模型具有严格的操作步骤,需要遵循输入(inputs)、进程(activities)、输出(outputs)、结果(outcomes/impacts)的结构和流程制定逻辑路线图,将每部分所需的要素归纳整理。而使用逻辑模型进行大学生学习满意度的相关测评,在遵循普遍意义上的使用程序的同时,还需要考虑其在调查、研究中的规律,以求便于操作并做到有针对性和特点鲜明,使得参与大学生学习满意度调查和研究的利益相关者能够很好理解测评及其结果,实现逻辑模型的沟通交流功能。

1.大学生学习满意度的结构梳理是先决条件

清楚梳理大学生学习满意度的内部结构,不仅是设计调查工具的关键步骤,也是使用逻辑模型测评的先决条件。梳理大学生学习满意度的结构,能准确拟定探测出大学生学习满意度的要素,便于找准测评大学生学习满意度所涉及的资源,从而便于准确构建测量大学生学习满意度的逻辑模型。

教师、学生和环境是高等教育教学过程的三大基本因素,这三者之间也形成了一个三角循环的逻辑关系,相互作用、相互影响、相互制约,成为贯穿高等教育始终的教学三要素理论。

在理论支撑的基础上,沿着大学教学中教师、环境、学生这三条基线作进一步深入的拆解,可以将大学生满意度首先分为教师教学、环境影响和学生群体这三个方面的一级要素。在教师教学要素下,形成了教学过程和教学关系这两个二级要素,分别从过程和关系这两个角度考察满意度。环境影响要素可以分为硬环境和软环境,硬环境主要指餐饮、住宿和图书馆这样的可见设施,而软环境则主要强调学校用以规范学生的各项规章制度。学生群体的满意度要素指标从自我影响和他人影响的角度进行划分,成为自我发展要素和群体关系要素,同时在群体关系要素中,又可以具体从正式群体与非正式群体分别进行考察。通过拆解和整理,我国大学生学习满意度的内部结构和基本要素便跃然纸上,可据此进行逻辑模型的构建。

2.变量认定是逻辑模型方法论的关键

按照逻辑模型的使用程序和结构来确认各类变量及内涵是至关重要的环节,关系到模型的建构是否正确,能否准确反映出评估过程的真实性、客观性和科学性。变量确认的程序是在斯塔夫比姆(Stufflebeam,1983)的CIPP评估进程理论框架下进行,将所有变量分为背景变量(context variables)、输入变量(input variables)、过程变量(process variables)和结果变量(outcome variables)四种类型,从而形成CIPO结构[5](P105-135)。通过变量类型的确认,可以将评估对象所涉及的资源和过程进行归类,便于逻辑模型流程的展开。

背景变量是指被评估对象的背景信息,主要以人口统计学方面的信息为主,可以细分为不可迁移特征变量和可迁移特征变量。不可迁移特征变量诸如被测评对象的种族、民族、性别或者社会阶层背景,可迁移特征变量则包括家庭住址、年龄、年级等这类随着地理环境或者时间的改变可以发生变化的特征,并且这类背景变量可以形成学习满意度的影响因素。

输入变量是需要在逻辑模型的“输入”部分呈现的变量,主要指被评估对象已有的前置教育资源和所获得的教育支持,与其继续学习和发展紧密相关,同时也是能够体现学习满意度测评的具体条目。输入变量主要在于提供一个系统性的框架,使评估过程能够尽快进入教育性的程序,从而进入过程变量的环节。

过程变量则与学习满意度的测量与评估过程相关,包括满意度测量具体条目、要素、结构在内,并且通过高等教育过程将其得以实现。当然,这部分变量会直接导致教育结果的产生,预期与非预期的结果都会包含在内。

结果变量的出现和确认必然基于前述三类变量及学习满意度的测量过程,可以将其视作认知和非认知的发展结果,符合布卢姆提出的三类教育目标(技能、认知和情感),并且可以据此将结果变量进行初步分类。同时,结果变量一方面体现教育过程作用后的结果,另一方面为可能会出现的影响(impacts)做铺垫。

3.对象确认及绘制逻辑模型流程

大学生学习满意度的要素剖析为逻辑模型的运转提供了测评素材和具体指向,变量认定在体现了逻辑模型运行程序方法论的同时,也完成了针对评估目标作各类变量确认的过程。因而在变量认定之后,运用逻辑模型进行评估进入技术性环节,即通过对象确认在逻辑模型中体现测评过程,并能够绘制出逻辑模型的流程框架。这个步骤一来将前述的要素和变量根据研究问题形成评估流程(通过箭头表示),二来帮助在结果变量之后形成评价指标,从而引至影响分析。

确保逻辑模型的评估效果仍然是使用程序的核心,包括模型的内在逻辑效果和外在视觉效果,这不仅仅是便于其发挥沟通交流的作用,更重要的是体现逻辑流程的准确性。因此,对象确认的步骤包括变量组合和评估流程拟定。前者遵循逻辑模型的内部结构,后者以箭头形式体现,一部分箭头描述各类变量之间错综复杂的关系,另一部分箭头体现逻辑模型的评估流程。

在对象确认的步骤中,对象应该集中在根据目标所致的结果上,这样以便于所制定的评估指标是必须的且具有代表性[8]。在这里,逻辑模型的对象确认并不是一开始就根据评估目标进行的步骤,而是在变量认定之后进入技术环节后进行的。其优势在于强调针对性,和提高结果的可辨认度。

对于测评大学生学习满意度来说,使用逻辑模型也必然经历上述所有程序。由于学习满意度的评估有测量工具(多为调查问卷)做铺垫,因而在使用逻辑模型时必然参照问卷的外在题目和内在结构,从学习满意度的结构出发,按照步骤运行逻辑模型。因此,在遵循满意度结构和逻辑模型内在逻辑的基础上,形成总体意义上大学生学习满意度测评的逻辑模型(见图1)。该模型既可以用做整体满意度的测评研究,也可以根据满意度的要素结构划分做局部或者测量工具中某一条目的具体研究。当然,还可以分类学的视角作具体情况测评,从而有指向性的构建大学生学习满意度测评的逻辑模型。

三、在分类学视角下使用逻辑模型评估大学生学习满意度

大学生学习满意度测评的逻辑模型勾勒出整体意义上该领域的测评逻辑,不仅清晰呈现了该类评估应有的步骤,并且各项资源也得到整理和归类,为评估大学生的学习满意度迈出了坚实的一步。在对整体评估的逻辑模型有所认知和分析的基础上,以分类学的观点对大学生学习满意度进行要素分类,从个人发展、群体收获、项目绩效和机构进展这几方面构建不同类型的逻辑模型。

1.评估个人发展(individual development)

图1 大学生学习满意度测评的逻辑模型

图2 大学生个人发展满意度评价逻辑模型

图3 大学生群体收获的满意度评价逻辑模型

图4 项目管理基准下大学生学习满意度评价的逻辑模型

图5 基于制度建设的大学生学习满意度评价逻辑模型

从大学生学习满意度的结构分析可知,个人发展是大学生学习满意度的重要构成要素,体现出参与调查、评估的大学生对高等教育个人感知的发展变化趋势,同时也关系到在参与高等教育过程中教育目标是否达成的自我评价。因而对于大学生学习满意度的个人发展评估,是建立在大学生的自我认知、自我觉醒和自我评价的基础上。当然,在学习满意度测评的背景下评价个人发展,是基于自我发展的时间序列,并以参与为导向所形成的个人评估(individual assessment)。其优势不仅在于更加具体化、针对性地开展学生工作,更有利于建立大学生个人学习满意度的发展变化数据,同时也能为大学生个人成长档案袋(portfolio)评估提供材料支撑。因此,以学生个体为变量建立逻辑模型,能够对学生的满意度状态指标进行客观、综合的评价(见图2)。

使用逻辑模型对大学生学习满意度进行个人发展的评价,便是利用这种分析框架将满意度调查的具体行为概念化,使具体的调查结果得到整合。逻辑模型的持续评估过程,也是培养学生批判性思维(critical thinking)的过程,符合大学生获得新知的逻辑思维发展,包括大学生在学习过程中的概念构图(concept mapping)形成、概念文件(Concept Paper)建立和概念链接(Conceptual Linking)的搭建,以此来完善大学生对学习满意度的正确认知和自我评价[9]。以评估过程的进行和评估结果的导出来给予反馈,一方面是反馈至学生本身的学习过程改进,另一方面是反馈至高等教育人才培养过程的改革。

2.评估群体收获(group achievement)

在大学生学习满意度的研究中,以人口统计学变量和院校变量作为分析单位,可以对不同的性别、民族、区域、院校、年级、学科等的大学生进行分类,从而分析某一群体或者不同群体之间的差异状况或者变化趋势。在分析差异或者趋势的基础上,大学生群体内部或者群体之间的学习满意度评估可以通过逻辑模型进行,不但能够构建出该群体对于学习满意度的自我评价状态评估模型,也能进行同一时期不同群体的状态对比和不同时期同一群体的发展变化趋势分析。

图3所示的评估群体满意度的逻辑模型中,目标群体的背景信息(包括分类标准、人口统计学信息等)作为内容变量而存在,该群体所接受或者体验的高等教育成为了输入变量。在过程部分,被选中的目标群体参与到大学生学习满意度的调查研究中,与之一起的参与者还有相关教师,共同参与了教学活动。当然,该群体的整体满意度水平、各要素满意度水平构成了结果部分的直接数据,与该群体所获得的教育目标分类下的收获共同构成结果部分的变量。在影响分析框架中,学习满意度的群体收获评估还包括未来趋势的预测,这是在长期影响的基础上而得出的。此外,使用时间或者不同目标群体作为中介变量,便能根据目标或任务的不同,构建更多的逻辑模型作出比较研究,分析到位且结论明确,能够很好地服务于决策制定。

3.评估项目管理(program management)

调查某一项目之下的大学生学习满意度是比较常见的研究内容,通过项目实施前后的对比或者跟踪研究,获取该项目是否有利于提高满意度水平、在哪些方面影响了满意度水平、未来可能的改进等的数据或者结果。因此,项目管理及其绩效对于大学生学习满意度研究是很重要的部分。无论是从整体系统推进的层面,还是从院校、院系的层面,项目所带来的满意度变化值得研究。当然,逻辑模型也适用于基于项目管理的大学生学习满意度研究,对项目的计划、管理、运作、审计以及评估过程都能进行有效阐述,并能清楚明确地解释项目内各种资源的内在联系和项目试图达成的目标,以及这两者之间的联系[10]。以项目管理为基准,构建出大学生学习满意度测评的逻辑模型分析框架(如图4所示)。

项目绩效对于项目管理来说既是结果也是关键环节,是项目决策者亟待了解的重点内容之一,对于涉及到大学生学习满意度的项目亦是如此。由于项目管理涉及人、财、事、物、信息等诸多资源,逻辑模型成为梳理这些资源之间关系的纽带。测评大学生学习满意度,并以项目绩效为研究目标而建立的逻辑模型,能将所有资源对应归位,并且在学习满意度调查的统领下进行统合,便于研究项目之下满意度的数据、教育目标的达成、项目引起的变化和带来的各种影响。逻辑模型注重项目产生的最终结果,其活动核心是围绕系统已经产生的绩效结果为起点,从中找到绩效管理依据,来构建事物层次间的因果逻辑关系,从而达到最终实现最佳绩效[11]。

4.评估制度建设(institutional improvement)

制度建设是基于满意度效果的测评,是以管理为导向进行的评估,同样也是从院校特征变量出发对大学生学习满意度的精细化研究方案。该类评估从学生角度透视制度建设,能够很好地实现学生视角与制度建设平台的对接。对制度建设基准下的大学生学习满意度研究,还可以继续细分。第一类是对制度环境下整体满意度和局部满意度研究;第二类是对整个高等教育系统、对某地区、学校、学科、院系、专业的学习满意度研究。这两类研究必须以具体研究问题为切入而构建逻辑模型,从而深入而准确地把握分析框架(见图5)。

值得说明的是,由于制度建设是一个比较宽广而难以驾驭的概念,因此在基于制度建设的大学生学习满意度评价过程中,必须以具体的研究问题作为切入点,以便能够准确地进行逻辑模型的构建。尤其是在变量认定的部分,以具体问题作引导,将切中要害的变量代入模型框架中。当然,可以利用学习满意度的结构、要素、调查工具及具体题目将研究问题具体化,分条块、分阶段地做出学习满意度的测评,从而有效地将大学生学习的满意度测评和制度建设的成效在逻辑模型中得到融合,形成反馈与互促,最终建构长期良性循环的模型。

[1]史秋衡,郭建鹏.我国大学生学情状态与影响机制的实证分析[J].教育研究,2012(2):109-122.

[2]韩玉志.大学生满意度调查应重视的问题——基于美国大学生满意度调查的思考[J].教育发展研究,2008(11):81.

[3]Rogers,P.J.'Logic models' in Sandra Mathison (ed)Encyclopedia of Evaluation[M].Beverly Hills,CA:Sage Publications.2005:232.

[4]Hernández,Mario.Using logic models and program theory to build outcome accountability [J].Education &Treatment of Children (ETC),February 2000,Vol.23 Issue 1:24-40.

[5]Chatterji,M.,Iyengar,R.,&Koh,N.Logic models as tools for studying comprehensive education constructs.In E.W.Gordon and H.Varenne (Eds.).Theoretical Perspectives in Comprehensive Education-Volume II.New York,NY:Mellen Press,2009:105-135.

[6]Enhancing Program Performance with Logic Models[OL/B].http://www.uwex.edu/ces/pdande/evaluation/pdf/lmcourseall.pdf

[7]John A.McLaughlina,Gretchen B.Jordan.Logic models:a tool for telling your program’s performance story[J].Evaluation and Program Planning,1999(22):65-72.

[8]Ralph Renger and Allison Titcomb.A Three-Step Approach to Teaching Logic Models [J].American Journal of Evaluation,2002,23:493.

[9]Caroline R.Ellermann,Merle R.Kataoka-Yahiro,and Lorrie C.Wong.Logic Models Used to Enhance Critical Thinking [J].Journal of Nursing Education,June 2006,Vol.45,No.6:220-7.

[10]Annie Millara,Ronald S.Simeoneb,John T.Carnevale.Logic models:a systems tool for performance management [J].Evaluation and Program Planning,2001,24:73-81.

[11]刘巧华,等.基于结果的高校专项资金绩效管理“逻辑模型”构建[J].财会通讯,2010(12):54.

猜你喜欢

逻辑变量评估
刑事印证证明准确达成的逻辑反思
逻辑
创新的逻辑
第四代评估理论对我国学科评估的启示
抓住不变量解题
也谈分离变量
女人买买买的神逻辑
评估依据
分离变量法:常见的通性通法
立法后评估:且行且尽善