黄嘉健，黎晓娟，王建强

（广东科学中心，广东广州 510006）

0 引言

随着科学技术的日新月异，全球各国正以空前的热忱关注科技教育的改革与发展。在强调科技教育的同时，世界各国也都在不断完善科技教育项目实施质量评估机制[1]。科技教育项目实施质量评价是以科技教育目标为依据，运用科学有效的评估技术和手段，对科技教育项目的实施过程和效果进行测定、分析和比较，并基于此进行价值判断的过程。开展科技教育项目实施质量评价工作，是我国科技教育发展到一定阶段的必然要求，具有促进科技教育标准化和均衡发展的重要意义。

1 广东科学中心开展科技教育项目实施质量评价的需求分析

1.1 项目管理的需要

党的十八大报告和十九大报告提出了关于深化教育领域综合改革的路线、方针、政策及指示，要求适应国家实施创新驱动发展战略和“大众创业、万众创新”对人才教育培养的要求，以科技教育项目为抓手，强化管理、深化改革，推动实施科技教育提升工程，广泛开展科普活动，积极培育科技创新苗子，不断增强科技教育普及度、显示度[2-3]。科技教育项目作为学校教育的补充和延续，现已成为我国素质教育不可缺少的组成部分，可达到培养学生科学素养、创新精神，提高学生创造能力和实践能力的目的。随着我国教育改革的深入，科技教育项目的数量将持续上升，因此，对各项科技教育项目进行科学评价，建立科学而严谨的评价体系是达到科技教育项目管理目标和实施目的的必要手段。广州市教育行政部门2015－2017年每年下拨的科技教育项目经费均达到3000万元，年均开展的科技教育项目数量达500个，对每个科技教育项目进行项目质量评价，是对这些项目进行质量管理的有效手段，且每年的评价结果更可以作为下一年度项目申报立项与否的依据之一。

1.2 财政经费考核的需要

国家财政是国家治理的基础和重要支柱[4]。财政支出反映了政府的行为，专项资金更是反映了政府在一段时间内和一定条件下的政策重点。广州市财政经费资助的科技教育项目，由相应的财政部门对该专项经费的目标实现程度、经费投入效益和经费使用管理的有效性等方面进行考核与评价[5]。因此，对科技教育项目进行质量评价得到的相对科学、公正和客观的评价结果，可以作为财政经费绩效考核的有效依据。

1.3 提高和改进项目实施水平的需要

在实施科技教育项目时，需要围绕项目实施计划了解跟踪项目进度、成本、质量、资源等情况，一方面能够进行适当的资源调配和进度调整，另一方面也能确定项目的开始和结束时间，记录实际进度情况；此外，在一定情况下还需要对项目的实施进行路径、决策、度量、量化管理和风险等方面的分析，最终达到高质量完成项目的目标。若是通过第三方机构开展科学、合理、公正的质量考核评价，各项目承担单位能够在项目实施过程中 及时了解自己在项目实施过程中的可取之处及不足之处，其取长补短、不断创新，从而有效促进项目承担单位不断改进项目实施方法、提升项目实施水平，提高科技教育项目的整体实施质量。

1.4 广东科学中心不断总结经验与改进的需要

广东科学中心（以下简称“科学中心”）作为全国科普教育基地、广东省青少年科技教育基地、广东省科普教育基地等，过往完成了国际、国家、省、市各级科研课题及科技教育项目100多项，有丰富的项目管理和实施经验，并形成了有效的项目实施、质量监控管理流程，对识别质量监控风险点有独到经验；同时，科学中心成功完成了所承担和所参与的众多课题、项目的结题/结项验收工作，对项目实施质量的评价指标有较为深刻的认识和理解。2015年起，科学中心承接了广东省科学技术厅省级科技计划项目的职能转移，积累了更为丰富的课题、项目等验收工作的组织、实施经验，以及评审和验收专家资源。科学中心开展科技教育项目实施质量评价，有助于不断完善科技教育项目的实施，提高科普服务质量。

2 科技教育项目评价体系建设方案

2.1 概要

（1）实施对象。开展科技教育项目实施质量评价的对象为所有科技教育项目的承担单位。

（2）建设目标。建立从专家库建立、评价指标确立、中期考核、重点监控，到质量评价的监督、管理全流程管理目标，从而对各项目的实施质量进行全面监控，有效减少评价不通过的项目数量，并对所有项目给出公正、客观、科学的评价。

（3）实施方式。对科技教育项目实施质量评价的方式包括中期考核（中评价）和项目质量评价（后评价）。其中，中期考核侧重于检查项目实施偏差，及早发现潜在风险项目，及时进行整改并加强监督；项目质量评价则侧重于对项目整体完成绩效进行评价，评价结果可为以后项目立项、管理和改进提供科学可靠的依据。

（4）评价方法。根据科技教育项目实施质量评价的特点，可采用定量分析和定性分析的方法进行评价。定性分析和定量分析结合使用能充分说明并解释现象和问题[6]。其中，定量分析方法有比率分析法、对比分析法等；定性分析方法包括综合评价法等。

（5）评价原则。评价体系工作全流程必须保持公开性、公正性、独立性和客观性，评价体系需具备科学性、系统性和可操作性，评价结果需具有科学性、客观性、反馈性[7]。

评价体系建设流程详见图1。

图1 科技教育项目评价体系建设流程

2.2 建立评价专家库

由于在设立评价指标体系、项目中期考核以及最后的项目质量评价等阶段，均需要专家在科学论证、指标分析、项目验收、评价等方面提供科学可行的意见，因此，在评价体系建设的初期就需要建立质量评价专家库。专家库的专家组成根据评价工作开展的需要，涉及但不限于科技教育、项目管理、财务管理、科学传播等专业；专家数量以需要最多专家的项目质量评价阶段的专家数量乘以120%为宜，预留20%的备用量。公式表示如下：

式（1）中：Q表示专家数量。科学中心拥有丰富的省级科技计划项目验收专家资源，以及各类青少年科技教育活动评审专家资源，在建立评价工作专家库方面有一定优势。

2.3 设立评价指标体系

根据科技教育项目的实施特点，在项目实施质量评价时需要进行定量评价和定性评价相结合。如何采用定性化评价与定量化分析相结合的规范程序和方法，对科技项目的遴选、实施情况等进行科学、公平、合理评价，一直是科技管理部门及社会各界关注的焦点，但目前该问题仍未得到很好解决[8]。因此，在评价体系建立的初期，就需要分别梳理定量评价指标和定性评价指标，并通过“背靠背”的专家论证方法修正和完善不合适、有疏漏的指标，从而设立科学、完整、可衡量的评价指标体系。

2.3.1 定量评价指标

项目定量评价指标可分级设计，一般以设计二级或三级指标为宜。根据科技教育项目实施特点，笔者初步梳理的项目定量评价一级指标包含以下方面：

（1）项目实施完成率。即用以评价项目实施（完成）的进度。其中，中期考核时的实施完成率数据是这一指标的重要参考依据。

（2）项目立项目标完成率。对比项目立项目标，考核项目在评价时的立项目标完成情况。该一级指标下将继续设立二级指标，如预期产出指标完成率、预期效果完成率等。

（3）预算控制率。对比项目经费预算额度，考核项目在评价时的实际经费支出情况，如是节约还是超支等。该一级指标下将继续设立二级指标，如经费到位率、调整经费占全部经费的比例等。

2.3.2 项目定性评价指标

同样的，项目定性评价指标也可分级设计，一般以设计二级或三级指标为宜。根据科技教育项目实施特点，笔者初步梳理的项目定性评价一级指标包含以下方面：

（1）项目实施效果。其二级指标可包括项目实施对提升青少年科技教育、人才培养的作用，公众满意度等。

（2）项目管理情况。其二级指标可包括项目承担单位内部管理及自查情况、相关变更情况的手续完备情况，以及业务主管部门对项目建设或方案实施的检查、监控和督促等。

（3）经费支出规范性。其二级指标可包括预算执行的规范性、事项支出的合规性，以及会计核算规范性。其中，预算执行的规范性是考核预算调整是否履行报批手续，是否按进度支付资金；事项支出的合规性，即考核资金管理、费用标准集中支付或财政报账等制度是否得到严格执行，是否超范围、超标准支出，是否虚列支出，是否存在截留、挤占、挪用资金的情况；会计核算规范性，即考核是否规范执行会计核算制度，是否专账核算，支出凭证是否合规有效等。

(4) 项目可持续发展性。其二级指标包括项目实施对人、社会、环境、资源等是否带来可持续发展的影响等。

2.4 收集项目立项预期指标

项目立项后，需要向各项目承担单位收集青少年科技教育项目的立项预期指标，以作为后期项目质量对比评价的依据。如根据某教育行政部门的需求，可以采用以下方式收集：一是手工收集。由各科技教育项目承担单位填写项目评价单位统一制作的评价指标收集表，并提交到项目评价单位邮箱，再由项目评价单位统一汇总。二是通过信息化手段收集。以外包的方式创建评价体系网上系统，各项目承担单位在网上平台统一填报各项目的立项预期指标，再由项目评价单位通过网上平台进行汇总。

2.5 项目实施过程质量监控

加强对科技教育项目全过程质量管理是取得优秀可信成果的保证[9]。在项目评价工作中引入项目实施过程质量监控，能够在各项目实施的前、中期发现潜在风险项目，从而通过后续整改、加大监控力度等措施，减少质量评价不合格的项目，提高科技教育项目整体实施质量。

2.5.1 对各项目重要干系人开展项目实施质量评价工作培训

在实施科技教育项目前期，就需要开展科技教育项目实施质量评价工作培训，以提高项目负责人等各项目重要干系人对质量评价工作的认识，及其项目质量管理的能力。

（1）培训对象。包括项目负责人、项目承担单位业务部门负责人、项目承担单位上级业务主管部门负责人等各项目重要干系人。

（2）培训内容。包括科技教育项目质量评价的目标、方法；项目承担单位在项目实施过程中可以采用的质量管理工具、流程；项目中期考核以及项目评价单位在发现潜在风险项目后会采取的监控措施；项目自评材料填报规范、项目答辩注意事项等。

（3）培训目标。通过培训，让各项目重要干系人，尤其是项目负责人对项目质量评价工作树立正确认识，提升他们对项目质量评价工作的重视程度和项目质量管理能力。

（4）培训方式。可采用现场集中培训或网上视频培训等方式进行。

2.5.2 对所有青少年科技教育项目进行中期考核

项目中期考核情况可作为项目实施质量评价的其中一项指标。考核与整改流程见2。

（1） 中期考核实施过程。将各项目承担单位报送的中期项目实施情况与收集到的各项目立项预期指标进行对比和分析，并从专家库中抽取专家对项目的实施质量进行评审，以便及早发现潜在风险项目。此外，安排专家对潜在风险项目提供相应的整改意见。

（2）中期实施情况报送方式。项目承担单位可以采用电子邮件报送或信息化手段（即在评价体系网上平台直接填报）等方式报送中期实施情况。

（3）中期考核结果反馈。中期考核结束后，项目评价单位将中期考核结果反馈给教育行政部门。

图2 科技教育项目中期考核与整改流程

2.5.3 对潜在风险项目实施重点监控

（1）定义。潜在风险项目指的是中期考核效果不理想、项目进度严重滞后、项目资金支出严重违规，或是具有其他可能导致项目质量评价不合格因素的项目。

（2）重点监控实施过程。先是以短信、邮件等方式通知项目负责人，督促其按中期考核的整改意见进行整改；同时，以短信、邮件等方式通知项目承担单位业务部门负责人和项目承担单位上级业务主管部门负责人，提醒其监督项目负责人按整改意见进行整改，并加强对项目实施质量的管理。

（3）检查、跟踪潜在风险项目整改情况。潜在风险项目的项目负责人需在整改意见规定的时间内完成整改，并将整改结果报送项目评价单位。项目评价单位将组织专家分别对各潜在风险项目的整改情况进行检查、跟踪。对整改结果不理想的项目进行汇总，并报告给教育行政部门，由教育行政部门采取更加有效的方式督促其整改。

2.6 项目实施质量自评

各科技教育项目负责人根据项目实施质量评价要求，在规定时间内完成项目总结、自评评分表并提供相关佐证材料，装订成册后提交给项目实施质量评价单位。如有网上评价系统，则还需在网络平台上录入相关数据信息，同时提交纸质文件。

2.7 项目实施质量评价

由于各项目的经费额度、重要性和影响面等不同，项目实施质量评价方式宜分为材料评价和“材料+答辩评价”两种。具体的评价流程详见图3。

图3 科技教育项目质量评价流程

2.7.1 专家组成

项目实施质量评价单位在专家库中抽取科技教育、项目管理、财务管理、科学传播等专家，联合教育行政部门相关负责人共同组成评价专家组。根据实际工作需要，材料评价专家组成员可以与“材料+答辩评价”专家组成员一致，也可以有所区别。

2.7.2 材料评价

项目实施质量评价单位组织材料评价专家组，根据评价指标体系对比各科技教育项目立项预期指标以及各项目单位提交的自评材料，给出评价意见。如有评价体系网上平台，专家也可直接在网上系统审核项目各项指标完成值，以及年初填报的项目预期指标的对比情况，填写评价意见。

2.7.3 “材料+答辩”评价

对于项目金额较大、重要性程度较高、影响面较广的项目，由项目实施质量评价单位组织“材料+答辩”专家组，对项目负责人进行现场答辩。

(1) 答辩材料准备。在答辩前，项目承担单位需按项目实施质量评价单位的答辩要求及答辩材料清单准备答辩材料，并在答辩时携带所有答辩材料到答辩现场交予项目评价单位。

(2) 现场答辩。答辩正式开始前，评价专家组推选一位专家担任组长。答辩时，由项目负责人及相关干系人对项目进行详细汇报，重点介绍质量评价指标体系中各项指标的达成情况；评价专家对项目的实施情况、完成情况、资金使用情况等进行现场提问，项目答辩人员按要求进行答辩。答辩结束后，专家组对项目的完成情况进行充分讨论，并统一汇总形成专家评价意见。

2.7.4 评价结果反馈

项目质量评价单位汇总专家意见后，将所有科技教育项目的质量评价结果反馈给教育行政部门。

2.8 评价结果公示及证书颁发

2.8.1 评价结果公示

在一定范围内，如教育行政部门网站、广东科学中心官网等，公示、公开科技教育项目实施质量评价结果。在公示期内，接受有疑议单位的复核申请；必要时，组织专家对有疑议项目进行复核。复核后，重新上网公示。

2.8.2 发放评价证书

所有科技教育项目实施质量评价公示结束后，对评价等级为合格及以上的单位，通过网上证书系统发放评价证书。

3 预期效果

3.1 保证项目实施质量得到有效监控

通过建立从专家库建立、评价指标确立、项目实施过程质量监控、中期考核，到结项验收、质量评价的项目质量监控、管理、评价全流程体系，使质量评价工作不囿于最终的考核验收形式，而是切实做到对项目实施过程进行监控，保证最终实施质量。

3.2 有效提升项目承担单位的项目质量管理水平

科技教育项目有其特有的推进和实施方式，但是一般项目的质量管理理论和方法仍然适用于科技教育项目。在第三方评价机构对科技教育项目开展实施质量监控、管理和评价的过程中，各项目承担单位能够了解并应用这些科学、有效、可操作性强的项目质量管理方法，提升对项目质量的管理水平。

3.3 提供客观、公正、完整的第三方评价结果

作为第三方的项目评价组织机构，应坚持实事求是、客观公正、科学严谨、统一规范的评价原则，克服本位主义，在严格的项目管理和质量控制下完成评价工作，最终向客户提供客观、公正、完整的评价报告。同时，由客观、公正的第三方评价组织机构通过科学有效的评价体系得出的评价结果，可成为项目承担单位将来申报科技教育项目时评审的参考依据，也可以作为财政经费绩效考核的有效依据。