4L5S：基于行为改进的教师培训效果评估层级模型初探

2021-02-26陈振国刘金华

上海教师 2021年4期

陈振国刘金华

（大连教育学院教师教育办公室辽宁大连 116021）

教育部在《关于深化中小学教师培训模式改革全面提升培训质量的指导意见》中明确将提升教师培训质量置于重要的地位。2018年，教育部等五部门印发《教师教育振兴行动计划（2018—2022年）》，明确提出“加强教师培训需求诊断，优化培训内容”“建立教师培养培训质量监测机制”“建立健全教师培训质量评估制度”。[1]在教师培训“提质增效”背景下，加强教师培训质量评估管理，为教师学习提供高质量服务，是教师培训专业化的内在追求，也是教师培训机构专业化的题中应有之义。

一、教师培训效果评估存在的问题

教师培训工作研究者与实践者需经常问自己两个问题：培训有效吗？如何证明一个培训项目或一场培训活动的价值？现实中，他们尚不能很好地回答这两个问题，以至“评估”一事成为制约教师培训质量提升的“短板”。

（一）评估目的不清，缺少连续贯通的设计

教师培训机构通常会选择在培训结束时进行评估，以验证培训是否达到了预期效果，却未将培训前的诊断性评估和培训后的追踪性评估纳入评价范畴；培训过程中，因回避了教师成长档案袋的建设，致使学员反思性评价缺失[2]，对学员的增值性评价也因缺少了前测和过程性测评结果而无法开展。有效的评估应基于清晰的过程及结果证据，才能为纠偏和优化提供强有力依据，这必然依赖贯通培训全过程的一体化评估设计。仅在培训结束时开展实时评价，并不足以支撑教师培训项目在未来的行动改进。[3]

（二）评估层次较浅，多忽视培训与绩效的关联

有些培训机构将评估节点设置在培训课程之内或结束之时，单纯检测参训教师的反应，忽略了其对教育知识、教学技能的习得，没有深入到培训后其教学行为与态度的改变、能力的提高、教学绩效的改善等层次，也没有将对教师学习应用与转化的支持纳入评估范围。正如朱旭东教授所言，项目后评价是关注教师培训项目结束后，评价学员能否将培训所得带回学校和课堂，并最终影响学校、课堂和学生的表现……是反映培训项目效果的最终指标，然而也是当前教师培训效果评价中最为薄弱甚至是缺少的一环。[4]这让评估脱离了应用环境，使得教师培训效果评估流于浅表。

（三）评估内容欠缺，仅关注容易衡量的指标

有的教师培训机构仅仅以调研的形式开展评估，例如，在培训结束时，通过问卷、访谈等形式询问学员的学习情况，了解学员对培训项目的主观感受与满意程度。柯氏四级评估模型包括“反应”“学习”“行为”“结果”四个由简单到复杂、由浅表到深入的评估层次。不过，受训者对培训项目的良好“反应”并不代表其从培训中真正“学习”到了东西，从培训中真正“学习”到的东西并不意味着能转化成实际的工作“行为”。[5]满意度、参与度等都是现实中相对容易衡量的指标，但又是最基础、最低层次的衡量指标。

（四）评估功能单一，对评估结果的应用不足

很多教师培训效果评估注重鉴定性功能，对教师培训项目以鉴定与排序为主，以此来判断培训项目或者培训机构的优劣，呈现出“管理主义”倾向。[6]从具体实践来看，这种类型的评估注重反应与学习层面的评估，注重结果导向性，依据简单的问卷或者评价工具，对教师的培训效果进行判断，忽视了教师的经验背景，也很少对教师培训前后的变化程度进行评判。此种做法忽视了参训对象的差异，忽略了教师培训评估的诊断性、发展性功能，对优化项目相关利益方的进一步决策与行动没有太大价值。

二、4L5S：教师培训效果评估层级模型建构依据与思路

笔者结合我国现行中小学教师培训评估实践中存在的问题，从教师培训特质分析出发，在借鉴国外经典评估模型基础上，初步探究有效改进教师培训效果评估的模型与框架，且提出基于行为改进的“四层次五步骤”（简称“4L5S”，L、S分别是Link与Step的缩写）教师培训效果评估层级模型（见图1）。

图1 基于行为改进的“4L5S”教师培训效果评估层级模型

（一）模型建构依据

1.基于教师培训特质分析

教师培训是推动教师专业发展的重要途径与手段。教师专业发展具有“持续性”，这体现为教师个体主体性和能动性在这个过程中越来越重要，包括个人反思所带来的认知、情感、知识和能力等方面的变化，使教师能够更好地在实践中改善教学过程。古巴（Egon G.Guba）与林肯（Yvonna S.Lincoln）指出，评估的目的不仅在于获取结果，更在于推广和使用结果。培训效果评估不仅是短期教师培训结果的反馈，比如专业知识与技能的增长，更是长期工作绩效表现和教育教学技能的提升状况的反馈。总之，为了突出“持续性”，需要强调教师培训效果评估，综合考量教师参与培训后的多维度发展状况。[7]

2.基于经典层级评估模型

目前，经典培训评估模型主要有柯克帕特里克（Donald L.Kirkpatrick）的柯氏四级评估模型、古斯基（Thomas R.Guskey）的五层次评估模型、巴布（Sara Bubb）和厄雷（Peter Earley）的评估模型等，其中柯氏四级评估模型的影响力比较大，被广泛应用于实践领域。古斯基模型在柯氏四级评估模型的基础上增加了组织的支持和变革评估，强调外在的组织环境支持，注重推动学校发展的因素和活动对组织的影响。巴布和厄雷模型增加了组织的支持评估维度，强调学校的帮助与阻碍作用。[8]

（二）模型建构思路

除了主张测量教师对培训的参与度和满意度外，“4L5S”模型还创新性地关注到参训教师的经验背景与影响参训教师学习迁移的诸多因素，并坚定地将之纳入评估中。

1.遵循“项目逻辑”，解决评估流程不全问题

项目逻辑往往会显示项目内容的时序性，具体可细分为培训前、培训中、培训后三个区间。“4L5S”评估模型建构，一是着眼于结果，对其培训结果或已达到的水平，即教师行为改进情况作出判断；二是着眼于过程，对获得结果的途径，即教师取得现有水平的前后行为变化过程作出判断；三是着眼于未来，对教师经培训获得的知识、技能、态度、价值观等在职场中的转化与应用情况作出判断。

2.关注“行为改进”，解决评估证据不足问题

培训在本质上是一种学习。依据加涅等人的观点，学习意味着我们所知道的、我们所能做的以及我们行为方式的改变。[9]所谓“行为改进”，特指通过各类学习发展项目，使教师在教育教学行为方面发生的积极变化。[10]教师培训效果评估要将教师训前的行为表现与教师训后的行为表现进行对比。由此，“4L5S”评估模型有意回答两个问题：一是项目启动前教师的行为现状如何？二是项目结束后教师会出现哪些与项目相关的行为？二者均应是准确的、清晰的、可测量的。

3.确定“关键指标”，解决评估内容不清问题

鉴于教师培训活动的复杂性，有大量的评估指标可供选择，但考虑到成本、时间、指标的易理解性，评估指标不宜追求“多而全”，须围绕评估重点将指标缩减至可测的几个关键指标。在明确行为改进与绩效改善的联系后，“4L5S”评估模型将教师行为改变和与之相关的课程、环境等因素作为关键评估指标，其他指标和要素的确定也紧紧围绕其与教师行为改进之间的相关性。

4.追求“持续改进”，解决评估结果乏力问题

理想的评估应展示培训全过程中的关键数据和成果信息，通过将评估报告告知参训教师、相关学校与培训机构，以充分发挥评估的激励功能。“4L5S”评估模型追求将评估结果用于唤醒教师参与培训项目的内部与外部动机，激发教师学习和行为改进的动机和信心；引导学校管理者为教师在培训后的学习转化与示范引领提供充分的绩效支持；帮助培训机构在整体上回顾、反思培训项目的设计与实施，发现持续改进的机会。

三、4L5S：教师培训效果评估层级模型解析

（一） Level 1——经验层评估之解析

开展培训评估的前提是明确评估标准。在训前开展经验层评估，既可为培训项目设计提供重要依据，又可为评估标准制定提供重要信息。

1.评估内容与关键指标

经验层评估是对参训教师的知识、技能、态度、行为等情况进行“摸底性”评估，以充分掌握参训教师的学习背景。这一层次评估的关键指标有以下三个。一是认知现状，即参训教师在训前对培训主题所涉事实、概念、原理、理论等的认知现状。例如，“线上线下融合式单元教学设计”培训主题下，可在训前评估参训教师对“混合式学习”“翻转课堂”“单元教学”等重要事实与概念的认知情况。二是能力现状，即参训教师在训前对培训主题所涉策略方法、重要技能、关键能力等方面的掌握程度。例如，“线上线下融合式单元教学设计”培训主题下，可在训前重点评估参训教师在多媒体运用、线下教学设计与实施、线上教学设计与实施等方面的能力现状。三是行为现状，即参训教师在训前对培训主题所涉关键议题方面的行为表现。例如，“线上线下融合式单元教学设计”培训主题下，可在训前评估教师在日常教育教学中运用线上线下融合式教学的场景、频次与质量。

2.数据来源与评估方法

经验层评估的数据来源多种多样，例如参训教师、学校管理者、参训教师同伴、学生。现实中，为了操作的便利，可以参训教师和学校管理者为主，以参训教师同伴和学生为辅。评估者需依据不同的数据种类，采用适切的评估方法与工具。一般而言，经验层评估常用的评估方法主要有以下三种。一是前测问卷法。评估者可依据培训主题，精心设计结构化或半结构化的前测问卷，重点收集教师训前认知方面的数据信息。二是训前访谈法。在培训开始前，评估者对参训教师、学校管理者、参训教师同伴、学生等培训相关人员进行访谈，重点收集教师训前能力方面的数据信息。三是观察分析法。在培训开始前，评估者通过观察、记录、分析参训教师的教学现场、教育教学录像、教育教学作品等，重点收集教师训前行为方面的数据信息。

表1 基于行为改进的“4L5S”教师培训效果评估框架

（二） Level 2——体验层评估之解析

参训者对培训产生积极的情感体验，对培训内容的“内化”与“转化”十分重要。培训方对参训者情感体验的掌握与了解，可为培训的及时调整与优化提供重要参考。

1.评估内容与关键指标

体验层评估主要是指培训结束时，征询学员的主观看法，重点包括对培训要素（目标、课程、师资、服务等）、参与程度、收获大小的反应与感受。这一层次评估的关键指标有以下三个。一是工作相关度，它是指在参训教师眼中，培训目标、培训内容与教师岗位要求、个体需求之间的关联程度。二是学习参与度，它是指在参训教师眼中，培训过程是否创造了足够多、足够有吸引力、足够有效的互动与对话机会。三是培训满意度，它是指在参训教师眼中，培训在课程设置、课程实施、授课专家、培训服务等方面是否提供了积极的情绪体验。

2.数据来源与评估方法

体验层评估的数据来源主要是参训教师。体验层评估常用的评估方法与工具主要有以下两种。一是反应量表法。可运用纸质或网络形式的里克特式五分制量表，以了解参训教师对培训各要素的反应与感受。体验层评估往往面向全员，量表可在培训或课程结束时即时发放，即时回收。为引导参训教师更加严肃地看待自己的学习经历，要尽可能地将问题转化为以参训者为中心的问题，以引领教师在培训中尽可能主动地发现课程的价值。二是抽样访谈法。通过提前设计结构化或半结构化的访谈提纲，以个别面谈或集体访谈形式，针对关键评估指标，收集参训者对相关培训要素的看法与意见。考虑到现实情况，可以抽取一定比例的参训教师代表进行访谈。

（三） Level 3——学习层评估之解析

学习层评估意义重大，可以了解教师是否学到了新的东西，同时对培训设定的目标进行核对，以确保参训教师在学习层取得成就，是训后行为改进的前提。

1.评估内容与关键指标

学习层评估是指在培训结束后，通过对教师对训前和训后知识、技能、态度的比较，测量参训教师对培训课程所涉原理、事实、技能的掌握程度以及在工作中应用所学知识的信心与承诺。这一层次评估的关键指标有以下三个：一是知识习得。它是指参训教师对培训课程所涉事实、概念、理论、观念等的认知和理解程度。二是技能掌握。它是指参训教师对培训课程所涉主要方法策略、操作技能等的掌握情况。三是态度转变。它是指参训教师在工作中运用新知识、新技能的“信心”与“承诺”。其中，“信心”是指参训教师相信自己能将所学知识、技能应用到工作中；“承诺”是指参训教师愿意将所学知识、技能应用到工作中。

2.数据来源与评估方法

学习层评估的数据来源主要是参训教师与培训专家。学习层评估常用的评估方法与工具主要有以下四种。一是测验法，通过传统纸笔或在线测试对参训教师的知识掌握情况进行评估，一般在培训结束后进行。测验法可获取量化数据，故效度较高。不过，测验法对命题要求很高，需覆盖培训核心知识点与技能点，评估者可与培训专家共同完成。二是作品分析法，采集参训教师训前、训后与培训主题相关的教育教学“作品”，并对其进行对比分析研究，以了解参训教师知识、技能、态度方面的所得。三是访谈法，由培训专家或团队在培训过程中，通过具有代表性的问题访谈或提问，来了解参训教师对培训内容的掌握情况。现实中，访谈可采用“行动计划表”这种书面形式，除了可了解培训所学外，还能在学习与下一步的行为转化之间建立联系。四是模拟法，通常以现场操作或模拟为主，由参训教师操作、模拟，由培训专家指导打分。现场评估结束后，可辅以追踪观察。

（四） Level 4——行为层评估之解析

行为改进是衡量教师培训效果最为重要、最为关键的内容。只有参训教师真正地将所学知识运用到实际工作中，才预示着教育教学绩效的改善。

1.评估内容与关键指标

行为评估是在培训结束一段时间，一般为3—6个月后，对参训教师的工作行为和职场表现方面发生的变化进行评估。这一层级的评估重点是确定参训教师在多大程度上应用了培训所学知识，或在多大程度上发生了行为改进。这一层次评估的关键指标有三个。一是应用机会，即对参训教师将培训所学知识与实际工作相结合的行动进行评估，评估预期行为出现的场景、频次与质量，即衡量参训教师运用培训课程内容和方法工具解决工作中的疑虑和困难的有效程度。二是转化支持，即考虑到影响参训教师学习转化的两大核心变量：一是来自培训方的专业指导，二是来自学校管理层的管理支持。在训后，重点就这两方面评估参训教师的绩效支持系统。三是行为激励，即将参训教师的行为改进与绩效挂钩，这类评估常见于与转岗、晋级、评职等相关的考核。在教师培训效果评估中，可围绕行为改进，采用类似的奖惩措施。

2.数据来源与评估方法

行为层评估的数据来源是多方面的，比如参训教师、学校管理者、参训教师同伴、培训专家、学生等。行为层评估常用的评估方法与工具主要有以下三种。一是行为观察法，即跟踪观察法。项目组在训后亲自到工作现场或采用观看录像，借助“关键事件记录表”，观察并记录参训教师在教育教学实践中的行为表现，并与教师以往经验进行比较分析。二是行为报告法。现实中，行为报告法又包括多种形式，其中常见的有工作日志、关键事件、成功故事。其操作重点是邀请参训教师参照行动计划，结合培训内容，梳理行为改进的承诺事项、具体措施、资源支持、完成情况等。三是360度访谈法。通过开展面向参训教师、参训教师同伴、学校管理者、学生的访谈，来收集有关行为改进的资料，借助“职场追踪访谈表”，重点衡量训后行为表现及其发生前后的情境与条件。

（五） 5S——评估步骤之解析

1.Step 1：界定关键行为

确定评估什么是培训效果评估过程中最重要的决策。考虑到成本、时间、指标的易理解性，可以将培训评估指标缩减至可量化的几个关键行为指标。例如，在面向名优教师微课开发能力培训的评估中，将关键行为界定如下：（1）参训教师能在培训期间修改1门自己开发或实施过的微课；（2）参训教师能在培训之后开发1门属于自己的微课；（3）参训教师能在培训之后应用1门自己开发或实施过的微课。

2.Step 2：形成评估证据

科学的评估一定是基于适切、充分“证据”的评估。在该步骤中，评估者需要完成三件事：一是确定比较标准，充分利用经验层评估所提供的原始数据；二是开展数据采集，评估者依据评估内容、数据类型与数据来源，选择相应的采集时间、采集方式与采集工具；三是开展数据分析，运用适宜的数据编码、汇总与统计方法，对评估数据进行综合评析。

3.Step 3：撰写评估报告

在对培训相关数据和信息进行整理、分析后，评估者结合培训项目背景与目标等，撰写正式的培训效果评估报告。评估报告的核心内容包括评估工作概述、四层级分析结果、评估结论建议等。

4.Step 4：反馈评估结果

一旦评估有了结果，评估者就有义务将结果汇报给培训管理者和培训关键利益相关方（参训教师、学校管理者、教育行政部门等）。培训关键利益相关方可依据评估结果，回顾培训问题与成果，并制定具体的行动方案，来推动培训持续优化与改进。

5.Step 5：推动持续改进

实践中，可从以下几方面入手，制订持续改善行动计划。一是寻求问题根源。例如，如果参训教师认为培训所学知识的实用价值不高，那么问题的本质到底是什么？是培训内容的问题，还是培训对象本身并非合适的人选，或是培训时机选择不当？二是采取渐进行动。现实中，很难对培训进行一次性“彻底改造”，可选择从相对简单或用时较少的问题开始。三是开展团队复盘。例如，在每日培训结束后，组织项目团队成员就培训流程要素进行反思研讨，梳理问题，及时调整，帮助项目团队从培训日常管理中抽身而出，以留出反思的时间与空间。

四、讨论与反思

教师培训效果评估是一项复杂的系统工程。笔者基于评估模型的构建作如下讨论，既是经验总结，亦是反思展望。

（一）主要经验

1.基于教师培训的特殊性，开发简洁、高效的评估体系

好的培训评估一定是适切的。基于行为改进的“4L5S”教师培训效果评估在借鉴学习发展领域中经典层级评估模型基础上，充分考虑教师培训工作的特殊性，系统建立了培训评估标准设计、培训效果信息收集、培训效果跟踪与监控、培训效果评估方法选择、培训效果评估报告撰写等事项的工作标准，为教师培训效果评估提供了一份相对简洁、高效、实用的操作样本。

2.基于教师培训的薄弱点，挖掘关键、可测的评估要素

现实中，培训团队遇到最大的挑战是从学习到行为的迁移。基于行为改进的“4L5S”教师培训效果评估直面问题，致力于让学习与应用之间的转化距离最短、转化障碍最小。从前端经验分析、价值证据链建立、项目设计到项目落地，将评估嵌入培训全流程，让评估成为一种思维方式和下意识行为。

3.基于教师培训的规范化，开发科学、可用的评估工具

评估必须是与培训预期结果相关的、可靠的、令人信服的，而这都建立在数据信息准确、客观与多元基础上。基于行为改进的“4L5S”教师培训效果评估提供了培训效果评估的多种方法，明确了培训效果评估的实施步骤，开发了系列评估表单与工具，体现了培训评估的规范性。