谌中伟

0 引言

评价体系是科研的指挥棒和风向标，建立合理的评价体系是营造良好科研生态的关键。近年，我国政府颁布多项政策以改革科研评价体系，印发了《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》[1]《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》[2]《关于提升高等学校专利质量促进转化运用的若干意见》[3]等政策文件，要求破除“唯论文”“SCI至上”的顽瘴痼疾，探索建立科学的评价体系，营造高校、科研院所良好的创新环境，加快提升教育治理体系和治理能力现代化水平。本文根据欧洲大学协会发布的关于科研评价的报告《向开放科学过渡的科研评估》[4]，了解欧洲大学的科研评价方法现状与概貌，总结欧洲大学科研评价的特点，并结合近期国家层面推行的政策，提出几点启示与思考，以期为国内大学开展科研评价提供参考。

1 欧洲大学科研评价现状

欧洲大学协会(European University Association，EUA)成立于2001年，代表了49个欧洲国家的850多所大学和全国校长会议平台。在影响欧盟关于高等教育、研究和创新政策方面发挥着至关重要的作用[5]。

EUA通过大量调查，形成了《向开放科学过渡的科研评估——欧洲大学协会开放科学与开放获取调查结果》(以下简称“EUA调查报告”)，该报告首次综合性调查了欧洲大学开展科研评价的方法与现状，以及欧洲大学为何及如何重新审视与评估其科研评价行为。此次调查的对象为欧洲大学，包括EUA成员及非EUA成员。

调查由欧洲大学协会科学2.0/开放科学专家组(EUA Expert Group Science 2.0/Open Science)根据以往开放获取调查问卷设置，共20个问题，包括3个部分：(1)机构基本情况，包括所在机构名称、机构性质、科研人员数量等；(2)欧洲大学科研评价方法的现状。该部分根据大学科研评价的3个主要目的，从研究人员的招聘/晋升、学院/学部科研绩效评估、机构内部科研经费分配3个方面调查欧洲大学的科研评价方法；(3)欧洲大学对科研评价方法的未来计划，调查欧洲大学对科研评价方法的重新审视与思考。一个机构只收集一份问卷，共回收来自32个欧洲国家/地区的大学的260份有效问卷。通过提炼和总结报告关于科研评价的相关问题，能够对欧洲大学的科研评价发展现状有一个比较全面的了解。

1.1 欧洲大学的科研评价主体

调查显示，58%的被调查机构在学校层面开展科研评价，32%的机构在院系层面开展科研评价，其余10%只在研究单位/部门开展与实施科研评价。但是，这些部门在开展科研评价的过程中并不是各自为政，而是相互合作与支持。

82%机构是由学术带头人或机构负责人制定与实施科研评价办法，55%机构由科研人员制定与实施科研评价办法，44%机构由研究部门的行政人员制定与实施科研评价办法，而由图书馆员制定与实施科研评价办法的机构较少，仅占23%。

总体而言，欧洲大学积极开展科研评价体现在各个层面，不仅仅是学校与院系层面，还有学校内部相关机构或部门也积极参与科研评价，而校外机构如政府及基金资助机构对大学的科研评价也有影响。

调查显示，大部分被调查者认为其在研究人员的招聘或晋升的科研评价中具有自主性(见表1)。针对学院/学部科研绩效评估目的的科研评价具有明显的高度自主性，44%的被调查者认为具有高度自主性，39%的被调查者认为大部分情况下具有自主性，只有14%的被调查者认为具有一些自主性，3%的被调查者认为自主性低。而在针对机构内部科研经费分配的科研评价中，科研机构表现出更高的自主性，55%的被调查者认为具有高度自主性，35%的被调查者认为大部分情况下具有自主性。

表1 制定与实施科研评价过程的自主性

问卷还调查了影响机构制定与实施科研评价过程的外部因素。大多数机构指出其在制定与实施科研评价的过程中密切关注政府及基金资助机构的政策、大学排名等影响科研评价的外部因素。如英国很多大学的科研评价方法与行为就受到了政府发布的《卓越研究框架》的影响。

总体来看，尽管很多欧洲大学认为其在制定与实施科研评价过程中具有自主性，但其科研评价并不是孤立开展的，他们时刻关注政府及基金资助机构的政策、大学排名、竞争与创新研究环境等外部因素对科研评价的影响。

1.2 欧洲大学的科研评价对象

该部分调查欧洲大学在评价科研人员及其科研产出时通常将哪些著作或研究成果作为科研评价的对象。发表学术出版物、获得科研基金(项目)是欧洲大学在评估科研人员时最看重的两项学术行为，两者的选择比例均超过75%。90%受访者认为学术出版物“非常重要”(80%)或“重要”(10%)；81%认为所获得的科研基金(项目)“非常重要”(57%)或“重要”(24%)。

选择比例在50%-75%(认为“非常重要”或“重要”)的学术行为有：(1)科研影响力与知识转化(如知识产权中的专利与许可)，占68%；(2)学术共同体内的研究合作(如合作出版物、学科内或跨学科研究、机构间合作)，占63%；(3)科研管理活动，占63%；(4)教学行为，占62%；(5)跨界研究合作(如与私人企业、政府或其他非学术组织的合作)，占57%；(6)学术关系网(如组织或参与学术会议)，占57%。

选择比例在50%以下(认为“非常重要”或“重要”)的学术行为包括：(1)其他研究成果(如数据)，占48%；(2)导师行为，占47%；(3)社会推广与学术成果转化(如参与非学术团体、公民科学、科学交流等)，占45%；(4)开放科学与获取，占38%。

1.3 欧洲大学的科研评价方法

(1)针对科研人员及其科研产出的评价方法。该部分调查欧洲大学评价科研人员及其科研产出时通常使用哪些评估方法。调查显示，大部分机构采取定性(如同行评议)与定量(如基于期刊及使用的指标、替代计量等)相结合的方法评估科研人员及其科研产出(见表2)。

表2 针对科研人员及其科研产出评价方法的重要性

(2)针对学院/学部科研绩效的评价方法。调查显示，欧洲大学采取定性与定量相结合的方法评估学院/学部科研绩效。与评价科研人员及其科研产出时的方法相比，对学院/学部科研绩效的评价方法更加广泛，包括在读博士的数量或毕业的博士数量等。此外，自我评估报告也是各大学针对学院/学部科研绩效所通常采用的评价方法，通常由内部委员会以大学的发展规划为参照指标开展评估，而政府及基金资助机构的资助等因素及指标也偶尔会被纳入评价项目中。

(3)针对科研经费分配的评价方法。欧洲大学对科研经费分配的评价通常由特设专家委员会或常设机构执行，采取的评价方法通常与针对科研人员和学院/学部的评价方法紧密相关。

总体而言，欧洲大学在评价科研人员及其科研产出时采用的主要评价方法具有明显的区分度，非常明确地区分出重要的及不重要的评价方法。大部分欧洲大学认为定量的出版物指标和定性的同行评议比较重要，而开放科学与开放获取指标、替代计量指标、学术关注度与吸引力的指标是其不太采用的指标。

1.4 欧洲大学的科研评价指标

通过EUA的调查，可以看到针对出版物、学术共同体内的研究合作、学术关注度与吸引力、替代计量指标等对象的不同评价指标，有着不同的选择比例。

除表3所示的评价对象之外，针对开放科学与开放获取的评价指标、科研影响力与学术成果转化的评价指标在受访者中还未得到广泛的应用。

表3 针对不同评价对象选择相应评价指标的比例

针对开放科学与开放获取指标，目前欧洲大学主要关注学术出版物的开放获取，较少关注科研数据。但总体来看，对开放科学与开放获取的评价还未广泛纳入评价体系中。尽管有的机构在自我评估报告或者在出版物评价中提及开放科学与开放获取指标，但仍未在机构层面监督开放科学与开放获取的程度。

针对科研影响力与学术成果转化指标，受访者反馈，通常由技术转移部门来管理机构的科研影响力与学术成果转化。关于具体采用指标，大多回复通过学术出版物的影响力来评价科研影响力，如期刊影响因子、H指数。此外，也会考察专利数量、许可数量、对商业副产品和初创企业的投入、在社会与文化领域产生的效用等指标。不过，很多受访者反馈称不知如何在机构层面监管学术成果转化，但在针对科研人员个人的科研评价中，仍会考虑学术成果转化的相关指标。

总体来看，欧洲大学针对科研人员及其科研产出的评价都会选择一定的指标，大部分仍主要基于学术出版物的定量评估，如期刊影响因子及H指数等；此外，定性的同行评议也是其采用的重要评价方法。其他评价方法与指标(如开放科学与开放获取指标)的应用并不普遍，或仅在整个机构层面广泛应用，而并未在评价科研人员个人的层面上使用。

2 欧洲大学对现有科研评价的审视与变革

该部分调查针对欧洲大学为何及如何审视其现有的科研评价。首先调查了现有规范与指南对准确、透明、负责任的科研评价行为的影响；其次调查了科研评价的未来发展方向；最后分析了大学重新审视科研评价并进行变革的原因及存在的困难与挑战等。

2.1 欧洲大学科研评价变革的动因

被调查者反馈，外部压力与内部因素是驱动科研评价变革的主要原因。很多欧洲大学意识到政府、资助机构、大学所处的常规制度与资助框架、竞争性科研与创新等外部环境因素对大学科研评价的影响。而内部的驱动力主要体现在为实现机构的各种目标，如改善研究环境以吸引或支持科研人员、提高科研产出的社会影响力。而要实现这些目标，现有的主要依赖出版物评价指标的科研评价方法的缺陷开始突显。这种矛盾成为大学、机构推动科研评价方法变革的强大内驱力。

调查中在“科研评价行为受什么现有原则和指南影响最深”的问题中设置了《旧金山科研评价宣言》(SanFranciscoDeclarationonResearch Assessment，DORA)[6]、《莱顿宣言》(The Leiden Manifesto for Research Metrics)[7]及《度量标准浪潮》(The Metric Tide)[8]等选项，但是选择这些由科研学会/协会/团体倡议的原则与指南的比例较少，其中15%选择《旧金山科研评价宣言》，15%选择《莱顿宣言》，7%的被调查者选择《度量标准浪潮》。大部分(39%)选择的是“其他”原则与指南，其中接近一半的大学受到政府政策的影响。这与“制定与实施科研评价过程的自主性”部分的调查结果相一致。35%的被调查者使用其他大学的模式作为其科研评价方法，只有19%的被调查者认为其科研评价行为不受现有原则与指南的影响，而是根据自身需要制定与实施科研评价方法与过程。由此可见，政府或科研资助机构的科研评价政策对欧洲大学的科研评价变革产生的影响力最大。

2.2 欧洲大学科研评价变革的挑战

在上述调查中，46%的被调查者反馈科研评价改革的复杂性是科研评价方法变革存在的主要困难之一。这里所提到的复杂性包括不同国家的实际情况不同、不同学科的发展情况不同等各种复杂的因素。

选择比例超过30%的困难与挑战包括：机构缺乏能力(如熟练的员工、组织机构支持等，占38%)；来自科研人员对科研评价方法改革的阻碍(占33%)；改革带来的成本增长(如对熟练员工的需求、组织结构的调整等，占33%)；对科研评价方法改革意识的不足(占31%)。以上困难与挑战大多来自机构内部。

选择比例在20%~30%之间的困难与挑战包括：缺乏外部的激励政策或措施(如国家/地区政府、基金资助机构的激励，占29%)；与国家或国际主流的评价方法保持一致(占26%)；缺乏实际证据证明对科研评价方法进行变革能带来实际的利益(占21%)。

选择比例低于20%的困难与挑战包括：机构内相关部门/人员缺乏合作(占19%)；受国家/地区规章制度限制而缺乏机构自主性(占19%)；学术领导层对科研评价方法改革的阻碍(占10%)；受资助机构规章制度限制而缺乏机构自主性(占9%)。

2.3 欧洲大学科研评价的未来发展方向

大部分被调查者正在思考与重新审视科研评价的未来发展方向。很多欧洲大学指出其未来将考虑将更广泛的学术行为纳入评价体系中来。学术出版物及获得外部科研资助仍是未来科研评价的重点评估领域，但很多在“大学在评价科研人员及其科研产出时最看重的学术行为”中所提及的学术行为也是未来的重点。学术影响力与学术成果转化、开放科学与开放获取程度也是未来的评价重点领域。

审视科研评价方法的未来发展方向，目的是充分利用定性与定量结合的评价方法，推动科研评价更加准确、透明、负责任。但是，各大学发展的方向并不一致，尽管大部分欧洲大学都在努力推动科研评价转向更加准确、透明、负责任，部分被调查者仍旧表示未来在评估科研人员及其科研产出时将更注重出版物相关的评价指标(如期刊影响因子)，这似乎正朝着与更加准确、透明、负责任的科研评价的相反方向发展。

3 启示

欧洲大学和国内大学在科研评价方面都存在一定的问题，都需要通过改革来实现更为科学合理的科研评价。而EUA调查报告呈现的欧洲大学的科研评价现状也反映出了改革需解决的痛点和需要面对的挑战，欧洲大学也在努力探索科研评价方法的变革与创新，其存在的一些问题同样值得国内大学反思与总结。据此，笔者提出了关于国内大学科研评价改革的建议。

3.1 自上而下推动

EUA调查报告显示，虽然欧洲大学科研评价方法变革的阻碍因素更多来自机构内部，如机构能力、研究人员对科研评价变革的阻碍、改革带来的成本增长、对科研评价方法改革意识的不足等，但是缺乏外部的激励政策或措施、与国家或国际主流的评价方法保持一致、缺乏实际证据证明对科研评价方法进行变革能带来实际的利益这三大外因也成为阻碍改革的因素。虽然我们常说内因起主导作用，但是试想如果外部环境一直不发生变化，那么那些原有的科研评价方式的既得利益者和那些并不确定“科研评价方法进行变革能带来实际利益”的观望者哪里有动力去从内部推动变革？他们只会继续待在舒适圈里，而不愿承担改革的成本。

国内大学的科研评价改革同样存在以上问题，改革存在的内部阻力是相同的，想指望自下而上式的自发改革是不现实的。要改革就必须依靠我们国家特有的制度优势，自上而下，全国一盘棋地依靠政策措施、经济措施来强力推动，改变缺乏激励政策、缺乏一致性、缺乏示范效应的外部环境。为改革制定全国一致的激励措施，并尽可能树立一些典型示范，让观望者能够看到变革带来的实际效益，再进一步推开实施。

国外实践如资助机构协会科学欧洲(Science Europe)在2018年9月启动开放获取S计划，联合各资助机构探讨科研评价与开放科学，签署该计划的组织将要求科研人员将其受益于国家资助的研究成果公开获取，同时变革传统基于期刊评价的导向，采用《旧金山科研评价宣言》鼓励科研人员开放共享科研成果[9]。英国政府的大学与科学国务大臣David Willetts联合各重要利益相关者重新审视计量指标在科研评价中的作用，最终形成《度量标准浪潮》并提出一系列参考措施。该项举措最终汇集研究资助机构、大学等利益相关者举办“负责任研究指标论坛”[10]，合作推动负责任的使用计量指标。而近期国内推行的“破四唯”“破五唯”“破除SCI论文至上”等措施的出台正是我国政府自上而下推动改革的结果。

3.2 扩大学术行为范围与领域

研究出版物及获得外部科研基金(项目)仍是目前欧洲大学在评估科研人员时最看重的两项学术行为与领域，其次是学术影响与学术成果转化、研究合作，而其他一些学术行为，如其他研究成果(如数据)、社会关系与学术成果转化、开放科学与开放获取等领域则应用不多，并未普遍纳入科研评价的范畴。这也是国内科研评价改革需要重视的行为和领域。

吸取欧洲的经验，国内未来亟需扩大学术行为范围与领域。除将研究出版物及获得外部科研基金(项目)作为主要评价对象外，随着科研产出成果的多元化，国内大学需要探索建立多元化的科研成果评价体系，将研究数据、专利、软件与工具、视频、学术博客文章等各类研究成果纳入科研评价范畴，并根据不同成果类型的特点设置合理的评价指标。近年来，我国政府发布的国家标准《科学数据引用》《科学数据管理办法》《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》《关于提升高等学校专利质量促进转化运用的若干意见》等政策文件倡导建立包含论文、专利、研究数据等多元化科研成果在内的评价体系，承认研究成果的多样化及其价值，以建立全面客观的评价体系，避免过度依赖以论文及其期刊载体为主要评价的方法。未来，针对论文，需要摒弃“以刊评文”，重点评价论文的创新水平和科学价值、社会影响力与学术成果转化；针对专利，需要重点考察其知识转化力度；针对开放数据与开放出版物，考察其开放获取程度等方面，最终实现对科研人员的全方位综合评价。

3.3 实行定性与定量相结合的综合评价方式

定性与定量相结合的综合评价方式是未来科学评价的发展方向。当前不仅是国内大学，欧洲大学同样存在以出版物数量及引用次数为主的定量评价、以刊代文评价所带来的问题，因此其也在寻求变革，探索定量评价和定性评价相结合的综合评价方法。其中具有代表性的是以各研究协会/组织为主体提出的倡议，如《旧金山科研评价宣言》《莱顿宣言》等。不少大学也开始提出一些创新的做法，如英国巴斯大学在发布了《科研评估与管理原则》[11]，致力于将定性的同行评议与定量评价方法相结合。比利时根特大学发布《科研评价愿景声明》，提出八项原则指导科研人员招聘与职业晋升评价，改变以往仅注重定量评价的模式，开始注重人才培养与发展，从更广泛角度评价科研人员[12]。

国内也看到了单纯依赖定量评价的弊端，开始越来越重视定性与定量相结合的综合评价方式。近期我国政府发布的多项政策目的也是规范各类评价工作中论文相关定量指标的使用，鼓励定性与定量相结合的综合评价方式，探索建立科学的评价体系。为进一步规范各类评价工作中以论文为基础的简单量化评价，需要建立健全分类评价体系，根据不同层次、不同类型科研的特点，确定不同的评价目标、内容和标准，分类指导、分类考评，如针对基础研究、应用研究、科技产业化等不同类型科研活动的特点，明确相应的评价标准。同时需要完善学术同行评价，同行评议是由从事该领域或接近该领域的专家来评定一项研究工作的学术水平或重要性的一种方法，是国内外公认的较为合理的科研评价制度。但同行评议的功能、程序、环节还存在诸多亟待完善之处，需要规范评价流程，严格把关同行评价专家信誉度，明确专家责任，消除评价过程中的不公平因素。

4 结语

EUA调查报告非常详尽地为我们展示了欧洲大学科研评价的现状、概貌与特点。通过对报告的分析，有助于我国大学机构重新审视科研评价方法，支撑科研人员重新思考其学术出版与传播行为，并引发图书馆对其科研评价服务的思考。相信未来在政府、科研资助机构、大学、研究人员及图书馆等多方共同合作下，国内大学科研评价工作将不断改进和完善，崇尚学术、追求卓越的学术生态环境将指日可待。