王楠 罗珺文 王红燕

摘 要：荷兰《标准化评估指南（2015-2021）》是最新版本的在荷兰高校和科研机构中开展科研评估的制度框架。它搭建了由“科研综合实力”（研究成果质量、社会相关性、战略可行性）和“可持续发展能力”（博士培养、科研诚信、组织多样性）兩大维度及六项一级指标共同组成的指标框架，采取自我评估和外部同行评估并行的模式实施评估。评估单元需在自评报告中根据自身的战略定位，选取最能反映自身特色、绩效和未来发展的指标来提供指标数据和素材，进而将评估单元的战略目标与行动结果关联在一起共同呈现。评估委员会将依据自评报告和实地考察结果对评估单元进行个性化的评价与考核。评估的目的在于促进评估单元反思与改进，评估结果并不与科研经费拨款直接挂钩。SEP2015体现了荷兰近年来科研评估制度改革的特点，包括日益注重科研成果的社会相关性，强调科研机构的可持续发展能力，推进评估流程的标准化和评估内容的个性化。

关键词：荷兰；标准化评估指南；高等教育评估；科研质量评估

荷兰，一个国土面积约为4.2万平方公里（北京市的2.5倍），人口总数约为1600万的“小”国家，却有着在欧洲乃至世界名列前茅的高水平大学和科研院所，并逐步在全球范围内形成了强劲的学术影响力。全荷兰共有13所研究型大学，几乎全部排在世界大学排行榜前200的位置；在2018年路透社最新发布的“欧洲最具创新力大学”百强榜单中，荷兰有9所大学入选；除大学外，荷兰国家科学研究组织（NWO）和荷兰皇家艺术与科学院（KNAW）分别下设专属不同学科领域的研究院所，其科研水平和综合实力同样具有较强的世界竞争力。2011年，荷兰的科学出版物占世界科学出版物总量的2.5%，荷兰的科研成果引用率排名世界第三。荷兰高校和科研院所的发展与国家对科学研究的政策支持、经费投入，及其高效的科研管理制度和良好的科研环境密不可分，荷兰的科研评估制度更是独具特色，对于不断反思和改进科研工作起着重要的引导和推动作用。

荷兰从20世纪90年代起，就建立了国家层面的科研评估制度，设计和颁布了《标准化评估指南》（Standard Evaluation Protocol，以下简称SEP），并达成遵照SEP框架对高校和科研机构定期开展评估的协定和共识，要求接受国家科研资助的高校和科研机构每三年开展一次内部评估，每六年依据SEP框架开展一次外部评估。SEP详细地规定了在荷兰所有高校和科研机构开展科研评估的目标、维度、方法和流程，可以说，SEP既明确了评估的标准，也规范了评估的流程，是荷兰开展科研评估的标准参照系。在SEP实施的20余年中，已经陆续开展了五轮评估，每次伴随新一轮评估的开展，SEP也会与时俱进地颁布新的版本。至今，SEP已分别于1994年、1998年、2003年、2009年和2015年颁布了更新版本[1]，在评估的理念、目标、维度和方法等方面进行了持续改进，提升了SEP评估的公正性、规范性和实效性。

荷兰《标准化评估指南（2015-2021）》（以下简称SEP2015）是最新版本的在荷兰高校和科研机构开展科研评估的制度框架。SEP2015由荷兰大学协会（VSNU）、荷兰国家科学研究组织（NWO）和荷兰皇家艺术与科学院（KNAW）联合制定并授权发布，将全面指导2015年至2021年这六年间在荷兰高校和科研机构中开展的最新一轮外部评估活动，其评估结果也将对荷兰国家层面的科研投入和战略选择、高校和科研机构的学科发展以及科技创新活动等产生重要的影响。本文以SEP2015作为分析对象，对SEP2015指导下的荷兰科研评估的方法与流程、维度与指标体系进行了较为系统的梳理，以期在我国统筹推进世界一流大学和一流学科建设的进程中，为促进高校和科研院所的发展、促进科研评估制度改革与创新提供一些可资借鉴的荷兰经验。

一、SEP2015的评估模式与评估流程：自我评估+外部评估 SEP2015采取自我评估和外部同行评估并行的模式对评估单元（Research Unit，可以是高校或科研机构内的某一院系、研究所、研究项目组或科研团队）实施评估，评估的主要目的在于促进评估单元反思与改进，评估结果并不与科研经费拨款直接挂钩。[2]

（一）自我评估

SEP2015要求评估单元在接受外部评估前首先开展自我评估，撰写15页以内的自评报告，准确地描述过去六年所付出的努力和取得的成果，以及未来六年的行动计划，这份自评报告将在之后的外部评估中发挥重要的参考作用。自评报告主要包括如下内容。

1.呈现基本概况，描述发展战略

评估单元需详细介绍本单元的组织结构、人员构成，研究人员的背景及研究专长，评估单元的经费来源、经费结构以及经费管理和经费使用情况等，以便评估委员会了解评估单元的概况。同时，还需详细描述评估单元过去六年的发展战略，依照此战略所采取的行动、获得的结果，以及在未来六年中拟定的发展战略及在战略框架之下拟采取的具体执行策略。[3]

2.选择特定指标，提供相应数据，展现自身优势

评估单元需按照自评报告模板，在“科研综合实力”维度和“可持续发展能力”维度下的六个一级指标中（参见下文“评估维度与指标框架”部分），分别选取能够体现其自身优势与绩效表现的指标，提供指标数据和相关证据，以呈现评估单元近六年来在提升科研综合实力、辐射社会影响、以及推动自身及荷兰科研系统可持续发展方面作出的贡献与成绩。[4]与此同时，评估单元还需要说明为何选择这些特定的绩效指标，以及这些指标之于评估单元战略发展的重要意义。

3.提交叙事报告，呈现科研成果的社会影响

评估单元需选取一个最具代表性或说服力的案例，通过叙事描述的方式来呈现评估单元的科研工作或科研成果在地区、国家、国际层面与外部社会的相关性、所产生的社会影响及其带来的社会价值。[5]考虑到科研成果所带来的社会影响具有一定的滞后性及广泛性，在评估周期前所开展的科研工作带来的社会影响，以及科研成果在海外产生的社会影响，均可作为案例呈现在叙事报告中。叙事可通过如下内容来描述该科研工作或科研成果所产生的社会影响，包括：社会影响的内涵及其辐射范围；社会影响发生路径及评估单元为此作出的努力；科研工作所带来的社会收益；社会影响涉及的科研工作、具体的研究项目、研究人员等。[6]

4.开展SWOT分析，判断战略可行性

评估单元需通过SWOT分析来审视自身的优势和不足，同时分析外部环境中的机会和威胁，进而判断其战略规划的可行性。SWOT分析作为一种分析工具为评估单元开展自我评价提供了必要的维度，对评估单元来说，通过SWOT分析既可以反思自身的成绩与不足，也可以分析自身在荷兰以及欧洲政策环境中的定位，并与国内和国际的同行进行对标比较。[7]SWOT分析结果既可以呈现定量数据，也可以呈现通过访谈、焦点小组座谈等搜集的定性评价，或把两者结合起来展现评估单元的全貌。

（二）外部评估

SEP2015要求评估单元在开展自评后接受来自同行专家的外部评估，并对开展外部评估的流程、方式等都作出了标准化的规定。评估的流程如下。

1.安排评估日程，确定评估委员会构成

SEP2015规定由研究机构的董事会全权负责确定评估计划、安排评估日程、确定评估单元，设立评估委员会并规定其具体职能。在任命评估委员会成员的过程中，需着重考虑评估单元的概况及战略规划，以保证评估委员会的组成与评估单元的科学研究工作和社会服务领域相匹配，包括确保评估委员会成员熟悉评估单元所从事的研究领域；了解该研究领域的国际前沿动态和研究进展；能够对评估单元的科研实力作出科学判断；了解荷兰科研体系及经费管理机制，能够对评估单元的科研管理水平、科研诚信和环境等提出建議；能够在评估过程中坚持公平公正的原则。[8]董事会拟定评估委员会成员后，需将成员名单提交评估单元，并请评估单元给出反馈建议，最终由双方共同敲定评估委员会的构成。

2.制定评估方案，开展实地考察

评估委员会将在实地考察前的1至2个月收到来自评估单元的自评报告（详见前文中的“自我评估”部分）和其他相关资料。评估委员会将召开启动会，请所有成员阅读评估文件，进一步细化讨论评估程序、评估内容和职责权限，并协同董事会和评估单元共同制定实地考察的方案。

评估方案确定后，评估委员会将依据方案开展实地考察，了解高校和科研院所的运行情况，并与评估单元的管理层和代表、科研团队带头人、教职员工和博士生、董事会成员等进行一对一的访谈，核实、丰富和补充自我评估报告中提供的要点信息，以便委员会能够作出相对客观、准确的知情判断。[9]

3.确定评估结果，提交评估报告

评估委员会需在充分理解评估单元在自评报告中阐述的发展战略的基础上，依据实地调研获得的信息补充，作出初步的评估决议：在“科研成果质量”、“社会相关性”和“战略可行性”三个指标上，分别给出量化评价等级并同时给出定性评价与建议。其中，评估等级分为4个级别，1级表示“卓越”，2级表示“优秀”，3级表示“良好”，4级表示“欠佳”。[10]此外，委员会还需在“博士培养”、“科研诚信”和“组织多样性”三个可持续发展能力方面的指标上给出定性评价与建议。评估委员会通过集体评议就上述评估决议（包括定性评价和定量评价）达成内部共识。

SEP2015明确规定，委员会需在实地考察后8周内，依据评估决议和SEP标准化模板撰写评估报告草案，并交送评估单元审查是否存在事实错误，如有事实错误可在2周内进行反馈和申辩。评估委员会需在实地考察后12周内，根据评估单元的反馈将草案修改、定稿为最终的评估报告，并提交高校或研究机构董事会。[11]

4.公开评估结果，推动持续改进

高校和研究机构董事会需要在其官方网站公示评估安排，在外部评估结束后的16-20周内表明其对于评估报告和评估结果的态度与立场，在随后的6个月内在官方网站上发布最终的评估报告。[12]同时，需要不定期地考察和发布高校或研究机构采取了哪些持续改进的努力与行动，从而让公众通过开放的渠道了解公共经费去向何处以及取得了怎样的效果，并在必要时接受公共问责。

各大学和研究机构的董事会、NWO、KNAW以及VSNU也将定期监测评估单元基于评估委员会的建议采取了哪些后续的改进行动。评估单元可以自行决定改进措施，SEP不对后续行动进行规定，但是希望评估单元将改进措施和计划纳入其常规的学术发展计划，以获得机构可持续发展的动力。[13]

二、SEP2015的评估维度与指标框架：科研综合实力+可持续发展能力 SEP2015搭建了由“科研综合实力”和“可持续发展能力”两大维度、六项一级指标及若干二级指标共同组成的指标框架。评估单元可以在自评报告中根据自身的战略定位，在指标框架中选取最能反映自身特色和绩效的指标来提供指标数据，进而将评估单元的战略目标与行动结果联系在一起，共同呈现在自评报告中。评估委员会将依据自评报告和实地考察结果对评估单元进行个性化的评价与考核。

（一）科研综合实力维度

科研综合实力是考量评估单元的主要维度，包括三个一级指标：研究成果质量、社会相关性、战略可行性。评估委员会将参照评估单元提供的材料，包括指标数据、案例叙事以及SWOT分析报告等，分别对每一指标作出定量和定性评估，并给出相应建议。

1.研究成果质量

科研成果质量主要考量研究活动的产出及其对科学共同体的贡献，包括面向同行的标志性科研成果、成果利用率、以及成果认可度三个二级指标。第一，标志性科研成果，主要指面向同行的科研成果及科研产品，评价指标包括（但不限于）：研究论文；著作；博士论文；其他成果如仪器、设备、数据库、软件工具、设计产品等。第二，标志性成果的利用率，主要指科研成果被同行引用、使用的情况，评价指标包括（但不限于）：成果引用率；数据库、软件工具的同行使用情况；研究设施的同行利用情况；科技或学术期刊上的同行评价情况。第三，标志性成果的认可度，主要指科研成果获得同行普遍认可的情况及由此获得的奖励和资助，评价指标包括（但不限于）：科学奖励或学术奖励；个人获得的科学资助；受邀进行学术演讲情况；受邀成为科学委员会或编委会成员情况等。[14]。评估单元需要在自评报告中提供上述信息及相关数据，以反映研究成果的整体质量。

2.社会相关性

社会相关性主要考量科研成果的社会互动与社会贡献情况，如科研成果对经济、社会、文化的贡献、对政策的建议、对公共事务的推动等。[15]社会相关性包括面向特定目标群体或社会大众的标志性科研成果、成果利用率以及成果认可度三个二级指标。第一，标志性科研成果主要指面向特定目标群体、服务社会大众的科研产品，评价指标包括（但不限于）：政策咨询报告、面向非学术群体的专业论文、为大众提供的讲座或展览等成果推广活动。第二，标志性成果的利用率，主要指科研成果被特定目标群体所使用、利用的情况，评价指标包括（但不限于）：专利和许可证书、与社会各界合作的项目、横向课题等。第三，标志性成果的认可度，主要指科研成果获得社会大众普遍认可的情况及由此获得的奖励和资助，评价指标包括（但不限于）：公共奖项、社会投资、在社会公共咨询机构任职的人数等。[16]除了上述指标体系外，评估单元需通过叙事描述的方式呈现一个最具代表性的科研成果的社会影响力案例，来反映科研工作或科研成果与外部社会的相关性、产生的社会影响及其带来的社会价值。

3.战略可行性

评估委员会将根据评估单元现有的基础及其提出的未来六年的战略发展目标，考量其在未来几年中通过采取相应的战略措施和战略手段来实现预期目标的可行性。前文介绍过，评估单元需要在自评报告中提交一份SWOT分析报告，包括四个分析模块（即评价指标）：组织内部的优势、劣势；外部环境的机会、威胁。组织内部可以从如下几方面具体展开分析：员工的背景和经历、组织治理模式、组织管理水平、基础设施建设情况、财政状况等。外部环境可以从如下几方面具体展开分析：技术进步的方向、新的政策或立法、政府的支持、社会文化模式、竞争对手等。[17]

（二）可持续发展能力维度

这一维度主要考量评估单元为推动自身及整个荷兰科研系统可持续发展所作出的努力，包括三个一级指标：博士培养、科研诚信和组织多样性。评估单元需在自评报告中提供这三方面的信息和数据，评估委员会将参照自评报告分别对每一指标作出定性评价，并给出改进建议。

1.博士培养

博士培养主要考量评估单元对下一代科研人员的培育、指导及相关的管理工作开展情况，评价指标包括（但不限于）：博士项目的相关制度与政策文本；博士研究者的选拔和录取流程；博士项目的培养方向和结构；评估单元对博士项目的监管以及质量保障机制；导师对博士研究者开展科研的指导以及未来就业的指导；博士研究者的学习年限、获得学位比例、未来就业的去向等。[18]

2.科研诚信

科研诚信主要考量评估单元在规范科研管理，维护科研诚信，营造良好的科研环境，以及制止学术不端行为发生等方面采取的行动和努力，主要指标包括（但不限于）：评估单元内主导的研究氛围；学者间交流、互动的方式；对强化科研诚信、道德、自我反思的关注程度及采取的措施；数据处理、数据存储及数据管理的相关制度；当研究结果严重偏离主流科学语境时所采取的应急措施；评估单元自身面临的难题以及解决策略等。[19]

3.组织多样性

组织多样性主要考量评估单元的内部多样性，并认为在多元化的研究环境中能更好地激励创新并促进人才发展，主要指标包括（但不限于）：评估单元自身多样性及其组织文化多样性的特点（包括科研人员的性别、年龄以及族裔）；对于保持组织多样性的关注度；提升组织多样性的目标及为提升组织多样性所采取的行动措施；确保选举委员会和评估委员会中人员多样性的相关制度与措施。[20]

综上，将SEP2015的评估维度与评价方式总结如下，见表1。

三、SEP2015的特点及启示

（一）强调科研成果的社会相关性

SEP2015中首次將科研成果的“社会相关度”列为评估的三大指标之一，充分强调高校或研究机构要注重科学研究与社会发展之间的关联度，并同时采用定量和定性的方法来评估“社会相关度”，评估单元既需要选择相应的指标，提供指标相关数据，也需要通过叙事的方式来具体描述和呈现科研成果产生的社会影响以及带来的社会价值。实际上，这反映了近年来荷兰科技评估范式的价值转向。荷兰近年来非常强调和关注科研成果在学术界以外对社会、经济、文化所产生的影响，并把这种影响发生的过程称为“价值创造（Valorisation）”，认为“价值创造”是通过知识创造更大社会价值的过程，包括利用知识推动社会、经济发展，以及将知识转化为具体的产品、服务和商业活动。[21]

荷兰政府和教育科研部门都认为，科研成果应该为社会带来更多积极的改变和更有价值的贡献，当下研究者在创造社会影响力方面的动力不足，其中主要的原因是大部分学者都把追求研究的学术影响当作首要任务，并未意识到研究对推动社会发展的重要价值。除外，当下的评估体系也还未对社会影响力的组成要素进行界定，如果有比较清楚的界定和比较明确的发生路径，学者创造社会影响力的行动会更加积极、高效和有的放矢。[22]我国的科研评估通常比较关注科研成果在学术体系内部的影响力，比如刊物的级别、影响因子等计量指标，而对科研成果的社会影响等非学术影响力的关注不足，这种评估导向容易造成学术系统的内封闭和自循环，忽视了科研成果的社会价值。SEP2015的社会相关度评估从评价目标到评价方法都是一种新的尝试，希望通过科学可行的评估，促进知识创造者（研究者）和知识使用者（用户）之间的互动和相互理解[23]，更好地把握研究的社会影响力发生路径，从而推动研究者更加有意识地为社会发展创造更多高质量的研究成果，并使其为推动社会发展作出更大的贡献。

（二）强调科研机构的可持续发展能力

SEP2015与以往的SEP指南相比，进一步增强了对科研机构可持续发展能力的关注与推动。一方面，SEP2015强调实施指向未来的“战略可行性”评估，侧重考量科研机构是否有能力在下一个评估周期中，通过采取相应的战略措施和战略手段以实现其预期目标。评估单元需通过SWOT分析工具来分析组织自身的优势和劣势，并分析外部环境之于组织发展的机会与威胁。评估委员会将结合评估单元的战略选择和战略规划，对照其自我评估的内容，给出评估结论和相关建议，以促进研究机构通过全面的自省和后续的改进活动，增强其战略目标实现的可能性。

另一方面，SEP2015增强了对科研诚信的警觉性，强调考量科研机构的科研诚信政策与整体研究环境。这一举措得到了荷兰教育部、基金委、高校、研究机构和研究人员的一致赞同。荷兰教育文化科学部部长Jet Bussemaker在SEP2015发布会上也提出，科研工作者不应该让产出率和产出速度牵着走，荷兰要进一步为研究者创设健康、可持续发展的研究环境。[24]近年来，我国的科研评估也对机构可持续发展能力有所关注，但是评价的核心仍然聚焦于科研成果的绩效指标，对于“量”的追求不仅容易忽视“质”的要求，也对创新与可持续发展造成了一定的阻碍。SEP2015正是弱化了对可量化的科研成果的评估，强调通过评估构建更加健康、诚信、开放、有活力的科研生态系统，从而促进科研机构以及整个荷兰科研系统的可持续发展。

（三）强调评估流程标准化

SEP2015延续了SEP指南的一贯传统，在评估流程方面凸显评估的标准化特点。荷兰从20世纪90年代起，伴随着国家层面科研评估制度的确立，就设计和颁布了《标准化评估指南》，其设置初衷就是为开展科研评估提供标准参照，在SEP实施的20余年中，虽然先后在评估目的、评估维度等方面与时俱进地进行了修订与调整，但是其始终强调评估流程与方法的标准与规范。SEP2015延续了这一特点，详细地规定了在荷兰所有高校和科研机构开展科研评估的具体流程，包括制定评估计划、发布通知、组织专家委员会、单元自评、实地考察、商议评估结果、撰写和提交评估报告、开展后续改进，甚至在指南中严格规范了院校自评报告的页数、专家签署保密协议的格式等等。可以说，SEP指南对开展一次科研评估方方面面的程序和步骤都作出了标准化的规定，为开展评估活动提供了可参照的行动指南，也正因如此，荷兰的科研评估活动按照评估周期有条不紊地开展，在整个欧洲都形成了良好的口碑，同时也很好地促进了荷兰高校和科研院所的科研成就与发展。

（四）强调评估内容个性化

与标准化的评估流程相反的是，SEP2015在评估内容方面充分尊重评估单元的多样化特点，强调个性化评估。比如，在自评过程中，评估单元有权利在指标框架中仅选取与自身战略相匹配的指标参与评估，以呈现评估单元的概况、特点与综合实力；再如，评估单元在社会影响力叙事、SWOT分析方面，都可以通过差异化的描述和分析展现评估单元的优势与特色。因此，虽然可能每一个评估单元的自评报告格式高度一致，但是其呈现的具体内容却是完全个性化和多样化的。同时，评估委员会也会根据不同评估单元的战略选择、发展目标、组织职能对院校开展个性化的评价。因此，评估很可能会出现不同的评估单元接受截然不同的评估标准的情况，比如从事基础研究的单元主要考察其学术水平是否位于国际前沿，而从事应用研究的单元则会着重考察其研究成果的社会相关度。这样的评估方式凸显了评估单元的战略选择、行动结果与其预期目标的契合度，即强调“用自己的尺子量自己”，而非“用同一把通用的尺子量所有人”。反观我国科研评估制度，仍旧呈现比较明显的管理主义倾向，评估标准较单一，对高校和科研机构的多样化特点关注不足。事实上，正如SEP所为，评估的根本目的并不是为了简单地得到一个“一刀切”的价值判断结果，也不是为了进行行政管理，而是要让评价发挥其支持、引导、激励的导向作用。因此，评估的标准和过程都应该更加开放和多元，这样的评估有利于在不同维度上定义优秀，让院校成为更好更有特色的自己，促进高校和研究机构的多样化发展[25]，进而促进和激发整个科研生态系统的活力。

参考文献：

[1]刘凡丰，余诗诗.荷兰科研机构的评价模式[J].中国高等教育评估，2017（2）：68-74.

[2]蒋玉梅.全球科研评价体系的演进与发展[J].国家教育行政学院学报，2013（9）：81-86.

[3][4][6][7][8][9][10][11][12][14][16][17][18][19][20]KNAW， VSNU， NWO.Standard Evaluation Protocol 2015-2021， Protocol for Research Assessment in the Netherlands[M].Amsterdam：Royal Netherlands Academy of Arts and Sciences，2014：13，13-14，27，30，11-12，15-16，7-8，16-17，18，23-26，23-26，30，23，23-24，24.

[5][21]Leonie van Drooge， Stefan de Jong.Valorisation：Researchers Do More Than They Realise[EB/OL].（2016-04-19）[2018-03-09].https：//www.rathenau.nl/en/publication/valorisation-researchers-do-more-they-realise.

[13]Rip A， Van der Meulen BJ.The Patchwork of the Dutch Evaluation System[J].Research Evaluation， 1995，5（1）：45-53.

[15]Lutz Bornmann.What is Societal Impact of Research and How Can It Be Assessed？ A Literature Survey[J].Journal of the American Society of Information Science and Technology，2013（62）：218- 220.

[22]Paul Benneworth.We Need Better Understanding of Good Research Impacts[EB/OL].（2017-10-17）[2018-04-19].https：//www.ideas-idees.ca/blog/we-need-better-understanding-good-research-impacts.

[23]Stefan de Jong， et al.Understanding Societal Impact Through Studying Productive Interactions[M].Den Haag：Rathenau Instituut，2013：4-10.

[24]Paul Wouters.The Citation Culture：The new Dutch Research Evaluation Protocol[EB/OL].（2014-05-08）[2018-03-09].https：//citationculture.wordpress.com/2014/05/08/the-new-dutch-research-evaluation-protocol.

[25]Frans A van Vught（Ed）.Mapping the Higher Education Landscape：Towards a European Classification of Higher Education[M].Dordrecht：Springer，2009：5-15.

（責任编辑 钟嘉仪）