赵敏华 孟月波 徐胜军

摘  要：毕业要求的达成情况评价是“学生为中心、面向产出、持续改进”工程教育基本理念实施的关键环节，其通过跟踪学生的学习轨迹对毕业要求进行达成情况评价，检验认证期内的某一届获学士学位毕业生能力是否达成，对于评价学生培养质量及持续改进教学薄弱环节具有重要参考依据。不同的评价方法和评价数据源会直接影响评价结果的有效性和持续改进的合理性。该文在分析毕业要求达成情况评价常用方法的基础上，讨论课程定量评价不同样本的选取方式对毕业要求达成结果的影响，最后以毕业要求达成的直接评价和间接评价结果探讨可行的持续改进措施，以提升专业的产出质量。

关键词：工程认证；面向产出；毕业要求达成评价；样本选择；数据源

中图分类号：G642      文献标志码：A          文章编号：2096-000X（2024）08-0020-06

Abstract： The evaluation of the achievement of graduation requirements is a key point of "student-centered， outcome-based and continuous improvement" engineering education. It evaluates the achievement of graduation requirements by tracking the learning process of students， and tests whether the ability of the graduates with bachelor's degree in the certification period is achieved， it has an important reference basis for evaluating the quality of students' training and continuously improving the weak points of teaching. Different evaluation methods and data sources will directly affect the effectiveness of evaluation results and the rationality of continuous improvement. This paper first analyzes the common methods of evaluating the achievement of graduation requirements， then discusses the impact of different sample selection methods of quantitative evaluation of curricular objectives on evaluating the achievement of graduation requirements， and finally explores the feasible continuous improvement measures based on the results of quantitative evaluation and qualitative evaluation， to improve the output quality of the major.

Keywords： engineering education accreditation; outcome-based education; achievement of graduation requirements; sample selection; data source

从2006年教育部启动工程教育专业认证试点工作到2016年中国正式加入《华盛顿协议》，标志着中国工程教育质量在该协议成员间达到了实质等效[1]。截至2021年底，我国共有288所普通高等学校1 977个专业通过了工程教育认证，涉及自动化、化工等24个工科专业类。工程教育专业认证的深入开展，进一步规范了我国高等教育专业人才培养体系和各教学环节，使人才培养质量保证体系满足国际互认的标准，促进了人才培養质量的提高，增强了我国大学工程教育的国际影响和竞争力。国内学者针对工程认证进行了大量研究[2-3]，促进了工程认证的深入开展。

为落实“学生为中心、面向产出、持续改进”的基本理念，认证专业应基于人才培养经验、培养目标及毕业生能力的总体要求，构建如图1所示的课程体系、课程目标达成及毕业要求达成的定期评价及持续改进机制。定期根据内外需求的变化，开展培养目标合理性评价，修订培养目标，并基于培养目标达成情况修订毕业要求；综合考虑毕业要求达成情况及课程体系合理性评价，修订课程体系，改进课程教学、师资队伍及支撑条件。毕业要求应能支撑人才培养目标的达成，课程目标需支撑毕业要求的达成。国内外每个毕业要求指标体系构建都是遵循着这种支撑性原则[4]。毕业要求达成情况评价对于落实培养目标、构建课程体系、实施课程目标具有重要的桥梁作用。

毕业要求达成情况评价有利于专业持续改进相关教学质量过程；使授课教师明晰自己承担的毕业要求培养任务，并围绕其实施教学活动、开展毕业要求达成情况评价，以便持续改进优化教学过程；毕业要求达成度评价的开展也有利于学生认识自己毕业时应具备的知识、能力和素养，以及每门课程的课程目标，理解和配合教师实施教学活动，明确自己获取能力的强项和弱项，及时调整自己的学习活动；管理部门根据毕业要求达成度评价可以评价教师工作状况、评价专业办学质量、考查院系和大学的办学目标达成情况。此外，评价结果也是作为专业经费资助、硬件和各项资源配置的依据[5]。本文根据作者在工程认证过程中的经验与反思，探讨分析了毕业要求达成情况评价实践过程中评价周期、评价样本选取，评价方式对评价结果的影响。

一  毕业要求达成情况评价方法

为了保证评价结果能客观反映毕业要求的达成情况，专业应根据每项毕业要求的不同特点，采用适当的方法开展评价。目前，对于工程教育认证毕业要求达成度的评价方法尚无统一的标准，采用的方法主要包括直接评价和间接评价两类，如课程考核成绩分析法、评分表分析法、问卷调查法和学生访谈法等。原则上，与专业相关的技术性指标，适宜采用课程考核成绩分析的方法进行评价。对于团队合作、沟通、工程职业道德等非技术性指标，适宜采用评分表分析法进行评价。在确保数据可靠有效的前提下，辅以问卷调查等其他方法，对上述两种方法的评价结果进行佐证，综合分析得出最终的评价结果[6-7]。

（一）  直接评价方法

毕业要求达成的直接评价方法主要是依据面向产出的课程质量开展评价。其过程应体现学生的学习成效，要求课程内容、教学方法和考核方式应与该课程支撑的毕业要求相匹配。

1  面向产出的课程质量评价

面向产出的课程质量评价的实施手段是课程目标达成情况评价，如图2所示，其评价方法包括定量评价和定性评价。定量评价是指任课教师对照课程目标，对学生的学习成果进行量化评估，形成课程目标达成分析报告。定性评价为学生自我评价，以课程调查问卷为依据，经过综合分析得到课程目标定性评价分析报告。

课程目标达成定量评价的评价依据主要来自学期成绩登记表和平时成绩，其基于平时作业、考试试卷、实习和实验报告等反映学生成绩的资料。在开展课程达成度评价前，应由熟悉该门课程的专家对评价依据的合理性进行确认，确保考核内容覆盖相应毕业要求的观测点，试题难度适中，覆盖面及课程作业、实习实践内容合理，能够反映学生相应毕业能力的状态。

计算单门课课程目标及毕业要求指标点达成度时，专业依据对学生的试卷、报告、答辩等考核成绩，抽取选修该门课程的全部或部分学生作为样本，进行课程对该毕业要求指标点的达成度评价。计算方法和过程如下。

某门课程i对毕业要求分观测点k的达成度C的计算公式为

C=O×Bt×Ft /100，

式中：O为课程i对分指标点k达成度的目标值；t为构成总评成绩的分成绩项数，例如，当总评成绩由卷面和平时成绩构成时，则t=2；Bt为换算后第t项成绩的平均得分相对于应得分的百分比；Ft为第t项成绩占总评成绩的百分比。

2  毕业要求达成情况定量评价

规定毕业要求j对应的分观测点k的达成度目标值之和为1，毕业要求j的各个分观测点达成度D具体计算公式为

D=ωC，

式中：i为支撑分指标点k的第i门课程；C为课程i对观测点k达成度的评价值；ω为课程i对观测点k达成度的权值。

求出各毕业要求对应的分观测点达成度D后，取各达成度最小值作为该项毕业要求达成度评价值Ej，具体计算公式为

Ej=min（D），

式中：D为支撑毕业要求j的分观测点k的达成度评价值。

在确定单项毕业要求j的达成度Ej后，取其最小值作为总体毕业要求达成度A的评价值，具体计算公式为

A=min（Ej），

式中：Ej为毕业要求j的达成度评价值。

（二）  间接评价方法

毕业要求达成的间接评价方法主要是通过问卷调查应届毕业生对专业毕业要求的达成情况认同度，以此来反映毕业要求达成度的评价。

其计算公式为

Bm=/5，

式中：Bmn为毕业要求m得分为n分的人数，例如，B14为毕业要求1得分为4分的人数；Bm为毕业要求m的定性达成度。

（三）  综合评价

将直接和间接评价结果按权重求和，得到其综合评价结果，即

毕业要求m的达成度=Am×W1+Bm×W2，

式中：W1、W2分别表示直接评价方法和间接评价方法的权重，其和为1。

二  样本数据选取对评价结果的影响分析

在具体开展毕业要求达成情况计算时，各专业根据评价周期选取不同的样本计算方法。

（一）  以三年为周期评价毕业要求达成情况

若毕业要求达成情况评价以三年为周期，每隔三年开展一次。那么在评价时，某门课程i对观测点k达成度的评价值C取近三年的最小值。采用这种方法计算简单，但是周期较长，不利于及时发现问题，而在最终计算毕业要求达成度时，可能因采用了不同届学生的样本，且以近三年为周期，样本数据来自不同的培养目标与课程体系，容易掩盖存在的问题，造成计算结果分析的混乱。

（二）  以一年为周期评价毕业要求达成情况

不同于以三年为周期的毕业要求达成评价方法，该种方法在课程结课后及时开展课程质量评价，并针对每届毕业生均开展毕业要求达成情况，该种方法虽然增加了评价次数，但也更加细致深入，能够快速准确地发现课程体系、课程实施及支撑条件方面存在的薄弱环节，及时改进。

成果导向教育的实施要坚持三大原则，即反向设计、学生中心和持续改进[8]，毕业要求达成情况评价是检验课程体系反向设计合理性的重要手段，以一年为周期，针对每届毕业生开展评价，時效性更快、借鉴意义更大。

（三）  课程目标达成情况评价样本选取对评价结果的影响

计算毕业要求达成情况时需要用到课程对所支撑观测点k达成度的评价值，该样本选取有两种方式，一种是以课程结课时所采用的原始试卷考核结果为样本进行分析，即以课程质量评价结果为依据，其分析结果便于发现课程实施过程中所存在的不足，利于任课教师发现问题，持续改进。另一种是更新原始考试不及格学生的成绩，以最终毕业时补考通过后的成绩为样本进行达成情况评价，这种方式更接近毕业要求达成情况的实际，利于发现课程体系设计中存在的问题。

（四）  毕业要求达成情况评价实证分析

本文以西安建筑科技大学自动化专业2020届和2021届学生的样本数据为例，分析采用原始考试结果和替换补考成绩后评价结果的差异，以及直接评价和间接评价结果对达成情况评价非一致性结果的原因。这两届学生培养方案相同，选取两届样本数据，更利于发现该版方案实施过程中存在的共性问题，为持续改进提供更充分的依据。

直接评价结果和间接评价结果在毕业要求达成度计算中所占权重分别为0.7和0.3。本文选取正考和补考成绩波动大的毕业要求1—5为例展开分析，表1、表2分别为2020届、2021届达成评价结果，其样本数据分别采用课程正考成绩和替换补考成绩，剔除未毕业学生后的成绩进行评价。

分析表1、表2可知，2021届学生相对于2020届学生毕业要求达成情况整体有所提升，且毕业要求观测点的薄弱环节满足一致性，达成情况较低的均为毕业要求1.1，2.2，3.1，4.1，5.2。本文以毕业要求1和毕业要求2为例进行讨论。

毕业要求1中观测点1.1支撑的课程为数学、物理类公共基础课，其样本均为更新补考成绩后的数据。两届学生的大学物理、线性代数的达成值均较低。到底是教师教学的问题？学生学习的问题还是课程教学计划的问题？大学物理属于挂牌授课，学生自由选择不同的老师，学生可能由不同的任课老师教学，线性代数属于按专业授课，但每届学生的任课教师不固定。不同的授课老师，面向不同届的学生，其达成结果却都不佳，是否由于教学计划安排不恰当造成的？经与任课教师、学生座谈、分析教学计划发现，大学物理课程教学与实验脱节、使学生学习存在一定困难，建议理学院对课程和实验的设计进行优化、使之符合学生的认知规律。线性代数和高等数学同时安排在大一第一学期，对于初入校的学生理解力不足，根据课程衔接及学生的认知，线性代数安排在第二或第三学期更合适。

毕业要求2中观测点2.2的支撑课程为自动控制原理、线性系统理论、建模与辨识、电机与拖动基础和电力电子技术，2020届采用课程原始试卷样本学生的毕业要求达成值分别为0.664、0.747、0.680、0.695和0.713，2020届采用最终补考通过成绩替换原始试卷未及格学生的成绩后，其达成值分别为0.716、0.747、0.720、0.730和0.740。从评价结果可知，用最终补考成绩替换原始样本中的不及格成绩后，课程对毕业要求的达成值提升了，并满足评价的一致性。但是如果使用原始试卷样本值，自动控制原理的毕业要求达成值为0.664小于专业制定的合格标准0.670。说明成绩薄弱的学生通过重修、补考，在毕业时该项能力得到提升。也说明任课教师加大课程的过程考核，引入雨课堂、微课堂、思维导图等多种举措是有效的。2021届学生达成情况分析的结果与2020届学生相似，本文就不再赘述。

三  直接评价结果和间接评价结果一致性判定毕业要求课程支撑的合理性

2020届、2021届毕业生12项毕业要求通过发放调查问卷，得到的间接评价结果与前文所述采用补考成绩更新后计算所得直接评价结果，其二维柱形图如图3和图4所示。由图3和图4可知，两届学生的毕业要求达成情况评价结果基本一致。12项毕业要求的综合评价均大于期望得分0.670。学生整体对个人毕业要求的间接评价值均大于0.8，和直接评价基本趋势一致，但高于直接评价值，说明较多学生对自身达到毕业要求的认可度高于直接评价结果。

毕业要求1、8、11直接评价和间接评价相对关系不一致，其直接评价结果在12项中处于较低情况，但是学生自我评价结果较高，说明定量评价和学生的自我评估有一定出入，需要进一步明确是课程达成原因还是观测点支撑课程不匹配的原因。经对比分析，毕业要求1所涉及的工程知识是指能够将数学、自然科学、工程基础和专业知识用于解决工业过程控制与运动控制、建筑智能化系统设计与集成等相关控制领域的复杂工程问题。从前面分析已知，毕业要求1低的主要原因是观测点1.1，其支撑课程主要是数学和物理，但是问卷是针对毕业要求1的评价，那么综合工程基础和专业知识，学生在毕业时对自己的评价高于大一时的考核结果也是合理的。

毕业要求8职业规范强调毕业生应具有良好的人文社会科学素养、社会责任感，能够在自动化领域工程实践中理解并遵守工程职业道德和规范，履行责任。评价值低的主要原因是观测点8.1，其支撑课程仅为思想道德修养与法律基础和马克思主义基本原理，仅靠这两门课的考核成绩并不能真实反映学生该项毕业要求的达成，对于这类非技术性指标应该综合考虑，设计合理的达成评价方法。

毕业要求11项目管理的观测点11.1理解自动化领域工程活动中涉及的经济与管理因素，掌握相应的工程管理原理与经济决策方法，这个观测点的支撑课程只有概率论与数理统计及马克思主义基本原理，结合间接评价结果，说明仅有这两门课程不能有效支撑毕业要求的达成，需要增加经济管理方面的课程来支撑该观测点，以充分反映学生毕业要求11的达成情况。

四  结论

本文在分析毕业要求达成情况评价必要性的基础上，探讨了毕业要求达成情况评价的常用方法。以3～4年长周期开展毕业要求达成评价，评价样本的选取会影响分析结果的精准性，本文评价采用按年选取每届毕业生的完整样本进行评价，并以西安建筑科技大学自动化专业2020届、2021届毕业生的学习成果样本为评价依据，从样本选取、直接评价、间接评价、综合评价的不同角度对毕业要求达成情况进行了分析。

根据不同样本分析可知，采用原始考核成绩计算的毕业要求达成度与更新补考成绩后计算的毕业要求达成度其趋势一致，但是更新补考成绩后毕业生的达成情况提升了，说明在后期经过课程实施的持续改进，对学习困难的学生进行帮扶和辅导，其最终达到了毕业要求，提升了该届学生相关毕业要求达成度，两种计算方法对毕业达成度问题分析与持续改进的结论性意见基本一致，但使用重修、补考成绩替换后得到的达成度指标分析更能准确判定毕业要求达成与课程目标达成之间的关系，便于发现课程设计方面的问题。

针对不同的毕业要求，专业在进行达成分析时应综合考虑直接评价和间接评价的结果，单纯基于课程考核的直接评价方式，在评价结果上会存在片面性，不利于发现课程体系、课程实施等方面的不足，引入合理的间接评价方式是非常必要的。

参考文献：

[1] 李志义.对毕业要求及其制定的再认识——工程教育专业认证视角[J].高等工程教育研究，2020（5）：1-10.

[2] 李志义.对我国工程教育专业认证十年的回顾与反思之一：我们应该坚持和强化什么[J].中国大学教学，2016（11）：10-16.

[3] 李志义.对我国工程教育专业认证十年的回顾与反思之二：我们应该防止和摒弃什么[J].中国大学教学，2017（1）：8-14.

[4] 孟祥红，齐恬雨，张丹.从课程支撑到能力整合：工程教育专业认证“毕业要求”指标研究[J].高等工程教育研究，2021（5）：64-70.

[5] 顾晓薇，王青，邱景平，等.工程教育认证“毕业要求”达成度的认识与思考[J].教育教学论坛，2016（14）：24-26.

[6] 蔡述庭，李卫军，章云.工程教育认证中毕业要求达成度的三维度评价实践[J].高等工程教育研究，2018（2）：71-76.

[7] 沙金，郑斯斯.工程教育认证背景下毕业要求達成度评测研究[J].湖北师范大学学报（自然科学版），2021，41（3）：50-57.

[8] 李志义，赵卫兵.我国工程教育认证的最新进展[J].高等工程教育研究，2021（5）：39-43.

基金项目：陕西高等教育教学改革研究项目“建筑电气与智能化虚拟教研室建设路径探索研究”（21BY044）；西安建筑科技大学一流专业建设项目“结合创新创业教育的课程体系及专业课教学模式探索”（YLZY0601C00）、“工程教育认证视角下自动化专业‘人工智能课程群建设”（YLZY0601K00）、“新工科+工程教育认证背景下自动化专业建设实践”（YLZY0601Z00）

第一作者简介：赵敏华（1971-），女，回族，陕西西安人，博士，副教授，系教学副主任。研究方向为复杂系统建模与仿真、建筑智能与节能。