刘勤勇，刘晓燕

(海军军医大学 教学考评中心，上海 200433)

高校教学督导具有监督、指导、参考咨询和激励的作用。教学督导工作以高校“教学质量”为核心，以各主要教学环节为监控点，通过监督、检查、评估、反馈与指导，及时纠正教学过程出现的教学偏差，并为学校提供决策依据[1]。教学考评中心承担了全校教师的教学督导任务，与学生评教、院系评教共同构成学校教学质量评价的三级评估体系，具体实施以专家为评估主体对全校教师的课堂教学质量进行评估。2016年，为了进一步规范教学督导，中心编制了《督导专家查课意见表》(见表1)，并结合文献研究、征求专家意见后编制了“课堂督导评分参考项目”——督导评课的5项指标、相应权重及23条判断标准，供专家评教打分以及填写“评语及建议”时参照。“课堂督导评分参考项目”为专家开展教学督导提供了有力的支撑，专家的督导评语及建议也得到了教师的认可，在引导教师规范课堂教学实施、提高课堂教学水平和保障课堂教学质量方面发挥了积极作用。为了让教学督导更深入地把脉教学问题、更有力地引导教员发展[2]，2018年中心对课堂教学督导的指标体系作了进一步优化。

表1 课堂督导评分参考项目

一、课堂教学质量督导评价优化的基本思路

将海军院校教学过程管理与教学规范化建设的具体要求纳入课堂教学督导评价体系。同时，本研究遵循以下思路：

首先，以本校原有教学督导评价实践为基础。中心在过去的教学督导中积累了大量宝贵的一手质性资料，本研究拟对这些资料作深度分析，以基于实证的研究持续改进课堂教学督导。

其次，以促进教师教学能力的提升与管理为目的。高校教学督导的职能有督教、督学、督管三个方面，本次督导评价体系的优化以督教为主，以促进教师的专业发展为目的，因此课堂教学督导指标的建构主要聚焦教师的课堂行为。

再次，突出课堂教学督导的科学性。进入二十一世纪，国内学者对高校课堂教学评价研究的重要主题之一就是构建课堂教学质量评价的指标体系[3]，学者在评价指标的构建原则上一致认同指标建构要遵循科学性原则和方向性(或导向性)原则。提高课堂教学质量专家评价的科学性符合高校教学质量评估指标体系建构的总体趋势。

最后，考虑未来信息科学前沿技术介入课堂教学督导的可能性。在信息科学与其他学科交叉融合发展的趋势下，信息和人工智能驱动下的教育智能体、教育大数据分析与应用、学习分析与评测和自适应个性化辅助学习等方向的理论与方法研究正在成为信息科学应用于教育领域的新方向[4]。教师教学行为分析的智能化是高校课堂教学督导与评估的未来发展方向。近年来，将计算机技术引入课堂评价中进行教学信息的自动化采集已成为当前课堂教学评价中的最新趋势[5-6]。人工智能应用的最大瓶颈在于算法与领域知识的融合。本研究力图在智能评价的视角关照下开展督导指标的优化。

二、课堂教学质量督导评价优化的原则

基于前述思路，本次优化研究特别关注评价指标的具体化、行为化和可操作化。评估体系的科学化程度直接决定着评价方案的水平，决定着评价结果的可信度和有效性。指标体系的科学性体现在目标一致性、方向性、整体性、可测性、独立性和可比性等原则上，是建立教学评价指标体系必须遵循的准则和依据[7]。其中，客观性原则强调指标体系的建立必须符合教学过程的实际，每项具体指标都要反映教学情况[8]；可测性原则强调指标体系中最低层次的指标必须是可以测量的、具体的、明确的、可以操作和把握的。本研究在遵循各原则的基础上，特别强调客观性原则和可测性原则。

三、课堂教学质量督导指标体系的建构方法与过程

课堂教学质量指标体系的构建大致遵循拟定指标-确定权重-验证与修正的流程。其中，指标体系拟定方法有分解目标法、归类合并法、内涵分析法、关键要素调查法、文献研究法、系统分析法和专家讨论法等[9]。确定指标体系权重的方法有特尔斐法、层次分析法、优序图法、专家会议法、专家咨询法、专家排序法等。

(一)基于专家评价语料库自下而上构建指标条目

当前课堂评价量表多采用文献法、经验法、问卷法、行动研究法等，由专家和教师协同开发，预先编制，在实践中不断检验优化。课堂教学评价量表的编制与优化除了采用“专家预设、自上而下”的编制方式外，还可以采用“评语提取、自下而上”的方式。事实上，基于评语的反向评价方法，已成为国际教学评价分析的新视角[10]。本研究借鉴基于评语、自下而上反向构建的研究思路，以现有课堂教学督导专家评语为基础，对督导评语进行基于文本的内容分析，结合归类合并、专家咨询和文献研究等多种方法进行指标体系构建。从原始条目提取到最终指标体系确定经历了四轮筛选和提炼。

1.第一轮：摘录专家督导评语，形成指标体系的原始指标条目池

从2016年起，考评中心组建了比较稳固的课堂教学督导团队，每次由3名专家组成的小组同时进课堂，专家小组由本专业专家、临近专业专家和教育专家构成，确保督导的权威性。本次研究以20多名督导专家对全校116名教员的310份书面督导评语和建议共计7万字作为样本。条目池的形成过程如下：

第一步：阅读评语、摘录句子中的主语和谓语，对涉及指标、观测点与评价标准的相关信息作初始提取。摘录原则：(1)逐份摘录评语文本中的主语以及针对特定主语的评价语和建议，正向评价和负向评价均作记录。(2)如遇相同主语，则不另建主语条目。(3)如遇评价语与已摘录的完全相同(如同一专家有比较个人化的惯用评价语)，则不重复记录；如对同一主语的评价意思近似但使用了不同表述，则加以记录。(4)如主语缺省或主语过于具体，则用自己的语言概括一个主语(如将“自信老练”“自然稳健”“热情投入”“富含激情”等评语概括为“精神面貌”；将“声音”“语速”“普通话”等概括为“语言基本功”)。

第二步：对初始摘录进行整理。包括：(1)将同一语义主语合并为一个主语条目(如教案和备课资料属同一语义主语，合并为教案)。(2)对于同一主语条目的描述，如果评语涉及其不同侧面，则将这一主语条目细分为更多个子条目(如初始提取时建了“PPT”的主语条目，但在整理中发现专家对PPT的评价有多个角度，于是根据专家的原始评语又细分出内容丰富性、文字清晰度、图片清晰度、文字数量、播放速度、与讲解的配合情况等多个子条目)。(3)对主语条目进一步概括，提炼上位概念。如将PPT和板书以及其他教辅概括为“教辅手段”。经过整理，最终初步形成一份包含15个一级指标、46个二级指标、165个观测点和相应专家评价语的指标体系条目池。

2.第二轮：筛选、提炼重要指标，形成指标体系初稿

指标原始条目池形成后，研究组对知网数据库中公开发表的高校课堂教学质量评价指标体系作了检索与研究，发现关于大学课堂教学评价指标体系建构的相关研究非常多，但很多指标体系的科学性值得推敲。第一，一条指标包含多个相互独立的判断点，如“条理清晰、讲授知识准确、重点突出、讲清难点”“理论联系实际、反应学科前沿”[11]。当不同评价主体对同一教师实施评价或同一主体对不同教师实施评价时，易造成虽基于同一标准但实际参照的判断点不同的问题，导致评价的不科学与结果的不公正。第二，判断标准停留在抽象概念或模糊表述上，如“为人师表，教风严谨，教学态度端正，精神饱满，重教又重导，关心学生，平等待人”作为“教学态度”的判断标准之一[12]，实际上其中的各点都不能直接观察，无法保证评价的客观性。

基于对现有指标体系的比较和本研究的指导思想与原则，研究组对原始条目池进行了集体讨论，就进一步筛选和提炼条目形成几点共识：(1)以指标、观察点与判断标准作为三级指标体系；(2)观察点尽量外显、可观察，聚焦与教学相关的物化要素、行为要素和相对具体的特征要素，观察点之间相互独立；(3)一条判断标准只针对一个观察点，判断标准的描述尽可能客观、明确、内涵清晰；(4)指标体系整体上要体现对教学方法的重视和引导；(5)增加海军关于“规范教学实施”中明确提出的要求，如教员授课时应携带的四样教学文书(课程标准、课程教学设计、教材、教案)，以及至少提前5分钟到达教学场所等；(6)控制指标、观察点和判断标准的数量，便于电子化呈现，便于专家在电子终端设备上浏览与操作。

按照上述原则，综合分析后去掉非本质的、作用相对较小的观测点，合并同类观测点，最终保留了26个观测点和93条判断标准，最后将观测点概括为教学准备、教辅运用、教学内容、教学重点、教学难点、教学设计、教学导向、教学方法、教姿教态、教学语言、课堂组织与管理、师生互动12项指标，形成了指标条目初稿(见表2)。

表2 课堂教学督导指标体系初稿

3.第三轮：专家咨询，进一步完善指标条目

指标条目初稿形成后，我们将打印稿分别发给10名督导专家，请他们以书面方式对指标体系初稿进行审阅并提出修改建议，同时组织中心全体研究人员对初稿再次进行讨论。专家对指标体系初稿作了认真审阅，基本认同观察点的数量范围，同时指出了指标体系中存在的一些问题并提出了具体建议：(1)“教姿教态”可与“军容仪表”合并；(2)“师生互动”的观察点可以合并；“教学方法”下的观察点不是并列的；(3)有些关注点可以合并，有些可以拓展。综合专家和研究人员的意见和建议，依据最初的设想和督导指标的优化原则，对指标体系再次作了修改。

第一，“指标”项的修改。(1)将原来的指标按照教学开展的先后顺序(准备-实施-结果)以及教学相关行为由表及里的顺序排列，将指标改为“主要环节与范畴”，使其更加有序、有逻辑性。(2)“主要环节与范畴”保留了“教学准备”“教姿教态”“教辅运用”“教学内容”“教学语言”“教学方法”，将体现军队特色的课前报告作为“开课仪式”单列一项，将教学重点与难点合并为“教学重难点”一项，将原来的“教学设计”“教学导向”和“师生互动”合并为“教学过程”。

第二，观察点的修改。(1)依据“主要环节与范畴”的调整对观察点进行了修改，重新提炼了“教学内容”“教学过程”和“教学方法”的观察点，如将“教学内容”的观察点提炼为“针对性、科学性、结构性、新颖性、内容密集度、对内容的把握”六个方面；将“教学过程”的观察点提炼为“程序结构、主体进程、结合实际、师生互动、过程评价、教书育人”六个方面；将“教学方法”的观察点提炼为方法的“多样性”“灵活性”和“有效性”。(2)删除一些不太重要的观察点，如教辅中的“教棒和音响”、教学语言中的“双语使用”等。(3)依据专家意见作了其他调整。

第三，判断标准的修改。根据“主要环节与范畴”和“观察点”的修改，对不太重要的判断标准(如板书的“书写美观”等)、描述不清晰的判断标准(如PPT的“设计宜人”等)和有重叠的判断标准作了删节，过于琐细的作了合并和再提炼，依据整体性原则和独立原则权衡判断标准是否比较全面地覆盖了课堂教学质量评价的各个方面，是否存在交叉和重叠。

经过第三轮讨论和修改的指标条目包括9个主要环节与范畴、29个观察点和48条判断标准(见表3)。考虑到指标体系电子化呈现时专家使用的简便性，我们使用比较简洁的语言描述判断标准，同时编制了判断标准的具体解释供专家参考，保证了判断标准的一致性。

4.第四轮：再次征询专家意见

研究组将修改完成的《教学督导观察点与判断标准》再次发给另外10名专家征询意见，同时组织中心研究人员再次讨论。大家一致认为教学指标设计基本涵盖了教学应达到的标准，有利于量化，有利于专家评价更加客观公平。至此，我们认为指标条目的筛选基本完成。

(二)指标权重赋值

本研究的指标权重确定主要采用了文献法、专家会议法和专家咨询法，具体过程如下：

1.第一轮：研究人员进行权重赋值

研究人员首先对指标作了权重赋值。赋值原则为：(1)满分以100分计，单项判断标准最高权重不超过3分。(2)注意权重比例的适宜性，突出教学内容、教学方法、教学过程和教学重难点的重要性。(3)通过“基础项”和“加分项”的思路区分保底水平的教学和优秀水平的教学。基础项即所有教师都应达到且稍经努力都可达到的基本要求；加分项更能体现教师的个人风格、个性魅力和教学经验等。基础项与加分项的比例大致为7 ∶3。

2.第二轮：考评中心集体讨论

首轮赋值后，中心全体教研员对赋值的合理性和可能存在的问题进行了集体讨论，主要观点包括：

(1)指标体系的区分度。有教员提出，本督导方案最终仍需对教员作优良中差的等级评定，目前权重分值能否保证良好的区分度，即有效区分教师不同的教学水平。经讨论达成的共识是：可借鉴很多评估体系所采用的客观评价加主观评价的方式，留出5%的主观评价空间，供专家整体评估、自由权衡。

(2)指标体系对不同教师的适用性。有研究人员提出，本体系对于促进年轻教员教学行为的改进和教学的规范化实施很有价值，但对于经验丰富、风格独特的名师来说可能显得死板，不能很好地体现他们独特的教学风采和魅力，建议确定督导表在教员中的适用范围。经讨论达成的共识是：在督导表的客观评分系统之外增设专家主观评论区，供督导专家补充客观指标体系不能涵盖的评价内容。对正高级以上的教员，允许专家直接评定等级。

(3)其他细节与权重微调的建议。根据讨论意见对首轮权重赋值作了调整：(1)将评分总分由100分改为95分，留出5分供专家整体评价；(2)修改了讨论中提到的一些细节，如将“对内容的把握”的位置由原来的“教学内容”调至“教学过程”；(3)对原来的权重赋值作了一些微调(见表3)。

3.第三轮：专家意见征询

专家普遍认为，定量评价与定性评价的比例以80 ∶20为宜，建议用20分作为总体印象分，供专家作总体评价。我们采纳了专家的建议并请他们以80分为总分对各指标条目进行权重赋值，计算平均数作为最终的督导指标体系。

四、反思与后续研究展望

按照评价指标建构的标准流程，还需要对新的指标体系进行试用，并基于试用中的信息反馈与数据结果对指标体系进行验证和修正。下一阶段我们将结合督导评价系统的电子版设计与试用收集数据、征询试用意见，再对指标体系与权重进行调整。

此外，在文献研究、指标提取以及咨询专家意见过程中，我们不断意识到督导评估指标体系的适用范围是一个很重要的问题。评估目的、主体、课堂性质与对象的多元性决定了教学评估的复杂性。正如某些专家所言，教学评估应该建成一个全方位的立体评价系统，不同主体(如学生、教研室领导、学校领导、专家同行等)、不同类型课程(如实验课、基础课、临床课等)和不同类型教师(如年轻教员、资深教员)的督导指标均应有不同的侧重点和相应的评价体系，并可直接在网络移动终端根据评估的实际情况进行选择与切换。这一理想评价系统的建设是一项系统的工程，不仅需要多部门的配合，也需要分门别类逐一进行专项研究。本研究的指标体系从教学督导的职能角度看，主要指向督教；从教学质量评价的主体看，主要适用于同行与专家评价；从高校课程类型看，更适合理论课的评价。今后我们将持续开展多方面的研究，推进学校教学督导工作的科学化。

表3 教学督导观察点、判断标准与选择方式

续表3

续表3