张梦琪 刘 莉

（上海交通大学高等教育研究院，上海200240）

1 引言

在知识经济和信息化时代，科学研究和知识创新在国家发展战略中日显重要，是国家综合竞争力的决定性因素之一。国务院2015年10月发布的《统筹推进世界一流大学和一流学科建设总体方案》为我国建成高等教育强国明确了任务路径。其在基本原则中提到“坚持以绩效为杠杆”，强调“构建完善中国特色的世界一流大学和一流学科评价体系”，并将“提升科学研究水平”作为建设任务之一［1］。如何落实这一重大战略决策，实现对科学研究的有效评价，并最终促进世界一流大学和一流学科建设，亟待探索。

目前，高校是国家科学研究和知识创新体系的重要支柱，许多国家根据本国国情，在借鉴他国经验的基础上针对高校建立了由国家主导的全国性科研评价和拨款制度［2］，在多年的实践和发展中不断完善，并在高等教育发展和科研管理体系建设中发挥着日益重要的作用。现有的国家主导型周期性科研评价制度主要包括三种类型，一是科研评价制度与科研拨款无直接关联，如荷兰的国家公共拨款科研评价制度（Netherland's National Evaluation System for Publicly Funded Research）等，主要通过科研评价报告对高校声誉的影响，间接促使其不断提高科研水平；二是科研评价制度与科研拨款分配直接挂钩，如英国的研究卓越框架（Research Excellence Framework，简称 REF）和澳大利亚的卓越研究评价体系（Excellence in Research for Australia，简称ERA）等，主要通过评价结果决定各高校的科研拨款分配；三是综合模式，如新西兰科研绩效拨款（Performance-based Research Fund，简称PBRF）计划等，综合运用同行评价和绩效指标对高校科研水平进行评价，随后再通过科研绩效拨款奖励和鼓励卓越研究。其中，新西兰PBRF计划根据“质”（科研质量评价）和“量”（绩效指标考核）两方面的考查结果向各类高校提供拨款，致力于保障新西兰高等教育领域的卓越研究（excellent research）［3］，大大提升了新西兰各类高校的科研成果数量和质量［4］。

2 新西兰PBRF计划概况

2001年，新西兰高等教育咨询委员会（the Tertiary Education Advisory Commission，简称 TEAC）提议采用一种综合模式来实施科研评价，并将评价结果用于科研拨款，以此作为高等教育拨款机制的核心要素。该综合模式既包括了同行评价（类似英国和香港的科研评价活动中采用的同行评价）中的相关要素，又涵盖了多个绩效指标（类似澳大利亚和以色列的科研拨款模式中采用的绩效指标）。2002年，新西兰PBRF计划正式诞生［5］。

作为国家主导的科研评价制度，PBRF计划的主要目标包含了高等教育体系中的两大核心要素，即科研和教学。评价对象是各类高校（tertiary education organisations，简称 TEOs），包括大学、技术和理工学院（institutes of technology and polytechnics，简称 ITPs）、私立培训机构（private training establishments，简称PTEs）等。其不仅致力于提高这些高校的基础和应用研究质量，确保对提高学位和研究生教学质量的持续支持，促使各高校保持并不断提升其国际竞争力排名，同时也以公共信息的形式向利益相关者公开各高校的科研绩效［3］。

PBRF计划按年度向各高校拨款，年拨款总金额由政府根据其年度财政预算案确定，并由新西兰高等教育、技能及就业部部长（Minister for Tertiary Education，Skills and Employment）授权高等教育委员会（Tertiary Education Commission，简称 TEC）负责分配和管理［3］。

PBRF计划中各高校的年拨款分配额由科研质量评价与绩效指标考核两个方面决定。其中，科研质量评价拨款的主要依据是周期性质量评价项目的最新一轮评价结果，占科研绩效拨款总额的55%，用于奖励和鼓励科研人员的高质量研究。绩效指标考核拨款的主要依据是一年一次的研究型学位完成情况（Research Degree Completion）与外部科研收入（External Research Income）两个绩效指标。前者占科研绩效拨款总额的25%，考据对象是高校已完成的研究生科研型学位数量，在体现高校教职员和科研训练之间联系的同时，也间接反映了各高校的科研质量；后者占拨款总额的20%，考据对象是高校外部科研收入的金额和类型，用于间接反映各高校的科研质量［3］。

3 新西兰PBRF计划2018年质量评价项目

PBRF计划中的质量评价项目由国家主导并定期开展。新西兰政府在2003、2006、2012年相继启动了三轮质量评价项目，并即将开启2018年质量评价项目。该质量评价项目首先由TEOs以证据组合（Evidence Portfolio，简称 EP）的形式提供其教职员的相关研究情况，再由专家评审小组进行同行评价。评价单元是个体教职员，而非TEOs整体（英国是以TEOs整体为评价单元）。

3.1 评价主体

国家主导的PBRF质量评价项目并不完全由国家控制，国家在整个科研评价的过程中扮演的是召集人和监督人角色，具体评价工作由专家评审小组以同行评价的形式实施。负责实施2018年PBRF质量评价工作的专家评审小组成员经由两轮提名和任命过程确定。2016年2月，专家评审小组的首轮名单确认，并在2018年2月之前续接受成员提名，后续将于2018年4月质量评价项目实施前确定最终名单［6］。

目前专家评审小组共涵盖了13个学科领域（生物科学，商业与经济学，创作及艺术表演，教育，工程、技术及建筑，健康，人文与法律，毛利人知识与发展，数学、信息科学与技术，医学及公共卫生，太平洋研究，物理科学，社会科学及其他文化／社会研究），在此基础上，又划分为43个专题领域［7］。

与前三次质量评价项目相比，2018年质量评价项目的主要变化之一是增加了太平洋研究专家评审小组，专门支持卓越太平洋研究的持续发展［8］。总体而言，2018年质量评价项目的评价主体不仅从分类评价的角度更加注重学科的多样性，同时充分考虑了新西兰人口的多样性，积极促进其本土的毛利研究以及太平洋研究。

3.2 评价客体

2018年质量评价项目评价客体的参评标准是，该教职员为新西兰TEOs学位和研究生的教学任务或者研究活动做出了实质性的独立贡献。PBRF计划所定义的“研究活动”涵盖的范围十分广泛，是一个包括所有领域原创性工作的宽泛表述，强调创新性、专业性和应用性。质量评价项目明确认可的高质量研究不只局限于理论探究，同时涵盖了原创性工作的方方面面，已经扩展到应用型、商业型和创新型研究，包括了与部落、社区、政府、工业和商业领域具体需求直接相关的研究工作，在某些学科甚至体现在艺术作品、表演或设计等方面。研究结果可通过出版物、制造、建造、公开展览或提供保密报告等多种形式呈现，同时必须接受该领域专家的公开审查或正式评价［9］。

图1 PBRF计划2018年质量评价项目TEO教职员、TEOs和TEC关系图［10］Fig．1 Main relationships between TEO staff，TEO and TEC in the PBRF 2018 Quality Evaluation process［10］

质量评价项目直接针对TEOs教职员个体的科研活动开展评价，由TEOs负责判断其教职员是否符合参评标准。教职员、TEOs和TEC三者之间的关系如图1所示。符合参评标准的教职员需按时完成EP，由其所属TEOs向TEC提交。质量评价项目结束后，教职员可向TEC申请获取其个人详细评价结果［10］。

3.3 评价程序

2018年质量评价项目过程包括了三个阶段（图2）。

第一阶段为工作准备阶段，共包含四个步骤：1）确定教职员参评资格。TEOs确定符合参评标准的教职员，并确认其教职员的EP符合要求。2）完成EP提交。TEOs向TEC提交符合要求的EP和符合参评标准的教职员数据（PBRF Staff Data）文件。3）PBRF IT系统确认。各个EP数据经过TEC的PERF IT系统确认，以便后续被分配给各专家评审小组。4）审核。TEC的TEO审核团队对各个EP和教职员数据进行审核与确认。

图2 PBRF计划2018年质量评价项目评价阶段［8］Fig．2 The stages of the PBRF 2018 Quality Evaluation process［8］

第二阶段为工作实施阶段，共包含四个步骤：1）专家评审小组初步评价会议。各学科领域的专家评审小组对各EP进行初步评分，根据EP内容确定其最终对应的专家评审小组。2）初步协调阶段。由协调小组检查各个专家评审小组初步评价会议的评价过程和结果是否规范。3）专家评审小组最终评价会议。各学科领域的专家评审小组完成EPs的全部评价工作，确定其最终质量等级，同时监控评价过程。4）最终协调阶段。由协调小组检查各个专家评审小组最终评价会议的评价过程和结果是否规范。

第三阶段为结果公布阶段，共包含四个步骤：1）公布暂定结果。由TEC公布评价结果的暂定报告。2）教职员申请获取其个人详细评价结果。3）申诉阶段。TEOs如认为评价过程中存在管理性和程序性错误，可向TEC提出申诉。4）公布最终结果。由TEC公布评价结果的最终报告［8］。

最终，TEC根据质量评价项目的评价结果和另外两个绩效指标的测评结果决定拨款金额。

3.4 评价内容

2018年质量评价项目的EP仅包括各教职员在2012年1月1日—2017年12月31日期间的研究活动。如表1所示，EP的核心要素为科研产出（Research Output，简称 RO）和科研贡献（Research Contribution，简称 RC）两个部分。其中，RO部分包括公开出版的学术成果（例如专著、期刊论文、会议论文集和硕士或博士论文）、非印刷成果（例如电影、录像和录音）和其他类型的成果（例如知识产权、材料、产品、演出和展览）等［8］。

表1 PBRF计划2018年质量评价项目EP构成［8］Tab．1 Structure of Evidence Portfolios for the PBRF 2018 Quality Evaluation［8］

2018年质量评价项目的在EP上的主要变化是，用“研究平台－背景概要”进一步明确了之前EP中的“其他部分”内容，用“RC”综合、取代和扩展了之前EP中“同行评价”（Peer Esteem）和“研究贡献”（Contribution to the Research）所涉及的范围。在“研究平台－背景概要”中，教职员需清晰介绍其研究活动，重点阐述研究者和研究内容的相关问题，明确相关研究背景，例如科研人员所处的科研环境、统计期间研究重点的变化、未列在此次统计期间内的其他科研成果以及工作状况等［9］。同时，EP中还需明确该教职员是否为无经验的研究者或研究初学者（符合PBRF计划2018年质量评价项目参评标准，且在统计期间首次开展实质性独立研究的教职员），以及各个教职员的全时约当数（full-time equivalent，简称 FTE，用于反映 TEOs教职员的工作时间，最高计时1 FTE，即为每周工作37.5小时，其中包括任何非研究或教学活动时间，但不包括无薪时间）。

3.5 评价标准和结果

质量评价项目的重点在于研究的卓越性，即强调科研产出的质量而非数量。专家评审小组将分别对每个EP中的RO和RC两部分进行评价，均用7分制评分，分数为整数，最低0分，最高7分。若未提供相关材料，得0分；仅有少量材料，得1分；所提供材料达到相应硬性标准时，得2／4／6分；所提供材料超过2／4分对应的标准，但又未达到更高一级标准时，得3／5分；所提供材料达到最高标准时，得7分。将RO和RC得分按照7：3的比例折算加和后得到EP总分（满分700分）。例如，RO得分为4，RC得分为5，则EP总分为 430分［8］。

EP得分共分为 A、B、C、R、C（NE）和 R（NE）6个质量等级（表2），A为最高质量等级，R和R（NE）为最低质量等级。其中A、B、C、R针对有经验的研究者和非研究初学者；A、B、C（NE）和R（NE）针对无经验的研究者和研究初学者（NE）。在计算得分时，对于RO得分为2且RC得分为0或1的EP做特殊处理，统一记作200分，归入C（NE）质量等级，充分体现了对于无经验的研究者和研究初学者的重视程度［8］。

表2 PBRF计划2018质量评价项目EP质量等级和得分表［8］Tab．2 Relationships between the total weighted score and PBRF 2018 Quality Categories［8］

最终，仅有A、B、C和 C（NE）四个质量等级被纳入科研绩效拨款范围。具体的拨款金额取决于三大要素，一是TEOs纳入科研绩效拨款范围的EPs质量等级，A、B、C和C（NE）的权数分别为5、3、1和2（质量等级C（NE）的权数从1提高到2是2018年质量评价项目最大的变化之一）；二是不同专题领域的权重（详见表3）；三是符合参评标准的教职员FTE情况［9］。

TEO质量评价项目科研绩效拨款份额＝ΣTEO［（质量等级权数）×（教职员 FTE值）×（专题领域权数）］÷Σ所有TEOs［（质量等级权数）×（教职员FTE值）×（专题领域权数）］×PBRF计划质量评价项目科研绩效拨款总额

表3 PBRF计划2018质量评价项目专业领域权重［9］Tab．3 Subject-area weighting of the PBRF 2018 Quality Evaluation［9］

质量评价项目通过报告形式提供参评TEOs的平均质量得分（Average Quality Score，简称AQS）。AQS主要通过两个方面来体现，一是基于教职员的平均质量得分（staff-based Average Quality Score，简称 AQS（S）），用以衡量平均研究强度；二是基于学士及以上级别全日制学生的平均质量得分（Equivalent full-time student-based Average Quality Score，简称 AQS（E）），用于衡量 TEO的高质量研究对学士及以上级别教学的支持程度［8］。这两项得分均不影响质量评价项目科研绩效拨款总额的具体分配，但2018质量评价项目报告将呈现各个参评 TEOs在 AQS（S）和 AQS（E）两项上的得分，同时AQS（S）成为本轮质量评价项目的主要测量指标。除此之外，该报告还将对四轮质量评价项目（即 2003、2006、2012、2018年）的质量等级结果进行比较。

AQS（S）＝（（（（A×5）＋（B×3）＋（C（NE）×2）＋（C）））×10）÷（∑教职员FTE值）

AQS（E）＝（（（（A×5）＋（B×3）＋（C（NE）×2）＋（C）））×10）÷（∑学士及以上级别全日制学生FTE值）

4 对我国科研评价体系的启示

新西兰PBRF计划综合运用同行评价和绩效指标对高校科研水平进行评价，以周期性质量评价项目形式对各高校个体科研人员的科研产出和科研贡献进行质量评价。评价结果直接影响政府对高校的科研拨款，有效提升了新西兰各高校的科研成果质量和数量，同时促进了科研人员之间的科研合作［11］。

近年来，我国政府对高校的科研投入日益增加，但尚未开展国家主导的、与科研拨款分配挂钩的科研评价项目。因此，我国学者主要针对我国高校层面的科研评价制度进行了一定的探索与研究，主要包括评价主体、评价内容、评价方法、评价指标和评价结果等方面。总体来看，我国高校科研评价体系经历了20世纪70年代行政主导的合格评价、80年代职务评审主导的量化评价和90年代分配主导的综合量化评价等发展阶段，高校科研评价工作在科技部和教育部的相关政策指导下逐步走向制度化和常态化［12］。在我国现行的科研评价制度中，评价主体往往是各级科研行政管理部门，由行政人员负责［13］；评价内容主要包括科研人员完成的科研工作业绩，如承担科研项目、发表论文、科研论著、科研成果奖励、科研专利以及技术转让、人才培养等［14］；评价方法以定量为主，同时引入了同行评价机制［12］；评价指标多为具体而细化的量化指标，注重考核科研成果的数量［15］；评价结果与教师的收入、职称和住房等各项经济利益挂钩［16］。这样的科研评价制度一方面促进了科研人员从事科研活动和科技创新，另一方面也存在一定问题，产生了一些负面影响，如评价主体缺乏规范性、价值导向偏颇、评价指标简单化等［17］。如何建立健全一套科学合理、公平公正、符合学术发展规律的科研评价体系，从而促进科研人员提高创新能力和科研质量，真正落实“推进世界一流大学和一流学科建设”的重大战略决策，是当前我国面临的一个现实而迫切的问题。新西兰PBRF计划尤其是其2018年质量评价项目将从以下几个方面给我国的科研评价体系带来启示。

1）通过同行评议确保评价质量

在新西兰PBRF计划质量评价项目中，国家是科研评价的召集者、协调者、支持者和监督者，由国家负责召集各高校参与科研评价项目，任命专家评审小组，提供经济支持和物质条件支持，对质量评价项目的全过程实施监督，并对科研拨款进行管理和分配，体现了科研评价的正规性和有效性。在周期性的质量评价项目中，由专家评审小组而非行政管理人员来实施具体的评价活动，即由专家学者构成评价主体，通过同行评价对科研人员的科研活动及其成果进行审慎评价，保障了科研评价的科学性和严谨性。

2）评价重点针对高校科研人员的科研活动

PBRF计划质量评价项目针对的是新西兰国内的各类高校，由各高校对其科研人员的科研活动和科研成果进行收集并提交，以高校为单位组织参与评价，但真正的评价客体是个体科研人员，使得个体科研人员在整个质量评价项目中处于核心地位。在质量评价项目过程中，专家评审小组根据各科研人员对应的证据组合中提供的相关研究活动信息来确认其质量等级，随后通过个体科研人员的科研质量等级来衡量各高校的整体科研水平，并最终与国家科研拨款分配挂钩。这一做法无形之中保障了科研人员的核心地位，提升了各高校对于个体科研人员科研活动的重视程度。另外，质量评价项目根据各高校的整体科研状况分配科研绩效拨款，即评价结果并不直接针对个体科研人员，有利于促进科研人员之间的团结协作和科研合作，实现跨学科发展以及重大攻关项目的承担和完成。

3）科研评价过程效率高且周期合理

PBRF计划强调效率性，并不频繁地开展质量评价项目，同时对各高校的评价不进行实地考察，有利于科研评价成本的控制和工作效率的提升。此外，评价周期较长，除去第一次和第二次之间仅相隔三年，后续质量评价项目的开展均相隔六年，符合科研活动发展的自身规律，为科研人员从事兴趣研究、实现科技创新、做出具有价值的科研成果提供了较充裕的研究时间和较宽松的学术环境，使得科研评价结果较为真实地反应了个体科研人员及其所属高校的科研实力和创新潜力。这一做法着眼长远，有利于真正提升科研人员的科研水平，促进重大原创性成果的产生。

4）评价内容关注科研质量和科研影响

PBRF计划的拨款份额由质量评价项目（占55%）、研究型学位完成情况（占25%）和外部科研收入（占20%）三方面决定，使得各高校的科研活动和科研训练联系密切。其中质量评价项目占比最大，是PBRF计划的重要内容。在质量评价项目中，针对个体科研人员的证据组合，科研产出部分包括至多4项提名科研产出和12项其他科研产出；科研贡献部分包括至多15项关于同行评价、对学术界内外研究环境所作贡献以及造福社区或终端用户的内容。专家评审小组针对个体科研人员的证据组合开展评价工作，关注的是科研人员科研成果的质量和影响，而非科研成果和科研贡献的数量。同时科研贡献中同行评价的证据和对科研环境的贡献是主要内容，因此，质量评价项目在评价内容方面既考虑了个体科研人员的科研贡献，也考量了该个体对于周围科研环境所作的贡献，两者共同体现了该个体科研人员的质量等级。

5）注重分类评价且评价标准多元化

PBRF计划质量评价项目的评价工作由专家评审小组以同行评价的形式来实施，并审慎确定各个证据组合所属的学科领域。各个学科和研究领域的专家评审小组将立足本专业和本领域，充分考虑自然科学与人文社会科学、基础学科与应用学科、跨学科以及少数族裔等领域的不同特点，严格遵循同类相比的原则，避免用同一标准评价不同学科和领域的科研人员，真正体现了专业评审的特点。在对科研活动进行质量等级评定时，质量评价项目针对无经验的研究者和研究初学者的证据组合专门设置了C（NE）和R（NE）两个质量等级，确保了评价标准的公平和公正，促进了无经验的研究者和研究初学者的发展，有利于其科研能力和学术水平的提高以及科研成果的产生。

6）明确学科目标定位，避免高校过度市场化和人才非正常流动

在质量评价项目的科研绩效拨款计算中，PBRF计划赋予理学、工学、农学和医学等专题领域较高的权重，但赋予哲学、经济学、法学、教育学、文学、历史学、军事学、管理学和艺术学等较低的权重，这可能导致各类高校跟着权重走，过度重视自然科学的发展而忽视人文和社会科学。我国高校科研建设中应该注重自然科学研究和人文社会科学研究的平衡与协调，结合学校自身学科优势和专业特色，充分利用一流学科建设契机进行科学定位，追求卓越。同时，质量评价项目中关于高校层面和学科领域层面质量等级的结果报告在一定程度上起到了“大学排行榜”的作用，该报告将各高校的科研和教学数据汇聚起来，能够方便学生及家长等高等教育消费者有效获取各类高校的信息并进行直观比较。但同时该做法容易导致高等教育的过度市场化，不利于高等教育的健康发展。另外，质量评价项目将个体教职员作为评价单元，容易导致高校间的人才争夺战和高校人才的非正常流动。我国高校在科研评价建设中应当避免过度市场化，根据学校定位和需求开展人才引进计划，注重吸纳复合型和潜力型人才，尤其是无经验的研究者和研究初学者，同时注重人才引进后的支持和培养工作。

结合我国基本国情和科研现状，同时借鉴新西兰PBRF计划尤其是其质量评价项目中的可取之处，我国能够不断完善自身的科研评价体系，建设具有中国特色的国家主导型周期性科研评价制度。总之，对我国高校科研成果和贡献实施国家主导型周期性科研评价活动，不仅能够督促各高校不断提高自身的科研水平和创新能力，同时使得国家和公众更加了解我国高校的科研能力和学术水平，并为以后的科研拨款制度改革提供参考或依据，真正形成政府科研拨款与科研绩效、科技创新的良性循环，从而提升我国的科学研究水平，并最终促进我国的世界一流大学和一流学科建设。