王军辉

（中国医学科学院医学信息研究所，北京 100020）

科技评价是科技活动的指挥棒，对科技事业的健康发展具有重要意义。如何对科技工作进行准确、合理的评价，一直是科技管理机构、科技机构和科技人员非常关注的重要内容，而建立在各类量化指标基础上的评价实践对科技领域的各个方面均产生了深刻影响，由此衍生的指标滥用问题也越发引起不同领域的关注。2012年的《旧金山宣言》（The DORA Declaration）和2015年的《莱顿宣言》（The Leiden Manifesto）分别是科学家和文献计量学家对科研管理中文献计量方法不当使用的直接回应[1,2]。

我国于2012年开始实施“创新驱动发展战略”[3]，同步提出“完善科技创新评价标准”的要求。国家创新驱动发展战略的核心是科技创新，科技评价机制则会对科技创新活动形成直接影响，进而在一定程度上左右科技发展的方向。因此，构建突出创新导向的科技评价机制成为非常重要的现实问题。和国际科技评价发展趋势类似，针对国内科技评价工作中过度依赖特定指标的现象，“破四唯”“破五唯”的呼声不断出现。所谓不破不立，由此产生的一个现实问题是，我们在“破N唯”的同时，要“立”什么？为回答这个问题，本文尝试对创新驱动发展战略实施以来国内科技评价相关的政策文件进行文本内容分析。

1 相关研究综述

文献调研发现，在以科技评价相关政策为对象的研究中，综述或述评是较为常见的研究方法。如毋改霞等[4]回顾并分析了新中国成立以来学术评价政策的历史演变；杨留花等[5]采用综述的方式回顾了我国科技人才分类评价政策的演进过程；苏金燕[6]分析了2011—2020年与代表作评价相关的12项政策文件，总结提炼出代表作评价的核心观点。

同时，部分学者采用量化分析的方法对科技评价相关政策进行研究。如谭玉等[7]针对1978—2018年科技人才评价与激励相关的44份政策文件进行统计分析，探讨相应的政策变迁和发展特征；谭春辉等[8]针对2000—2019年间的44份科技评估政策文本进行内容分析和量化分析，识别出科技评估政策文本在结构、要素和可操作性等方面存在的问题；刘伟等[9]以改革开放以来127份中国科技成果评价政策文本为样本，利用共词和聚类分析方法揭示了不同阶段科技成果评价政策的演进规律。刘旭[10]和郄海拓等[11]分别基于文本处理在宏观层面对我国的科技创新政策进行量化评价研究。

已有相关研究或选择科技评价的特定方面进行分析，如科技人才评价、科技成果评价等，或关注政策本身，分析政策存在的问题及其演进规律等，少见从需求分析的角度对科技评价相关政策进行整体性内容量化分析的研究。本研究聚焦于创新驱动发展战略背景下国家对于科技评价工作的政策性需求，以期为相关工作实践提供一定的参考。

2 数据来源和分析方法

2.1 政策文件采集

为指导不同应用场景下的科技评价工作，党中央和国务院及其下设机构分别出台了一系列科技评价相关的政策性文件。本文以创新驱动发展战略正式提出的时间为节点，选择在其之后出台的相关政策文件为分析对象。以中国政府网“国务院政策文件库”为主要数据源[12]，分别以“评价”“绩效”“学术”“科技”“创新”“职称”“人才”“科研”“评审”“评估”为检索词进行全文搜索，同步在国家发展改革委（以下简称发改委）、科学技术部（以下简称科技部）和教育部等相关部委网站的“政务信息公开目录”中进行文件标题检索。检索时间统一设置为2013年1月1日至2022年3月31日，经去重和筛选之后共采集获得39份科技评价相关的政策文件（见表1）。

表1 创新驱动发展战略提出以来科技评价相关政策文件

续表

2.2 内容分析方法

（1）文本选择。将采集到的所有政策文件文本保存至本地，其中部分政策文件只有个别章节是针对科技评价工作的论述，此种情况下只选取相关的文本进行后续分析处理。同时，在人工梳理总结的基础上，选择“克服”“治理”“杜绝”“摒弃”“破除”和“防止”为标记特征，识别政策文本中关于错误科技评价倾向的批判性论述，分别单独提取后保存。

（2）文本分词。结合政策文本分析的实际需求，在综合对比分析的基础上，选择一种基于重现原理的无词典中文分词方法进行关键词抽取[13]。该方法采取长词优先策略，利用正向串频最大匹配法抽取在所有选择的政策文本中出现两次以上的关键词或短语。同步对抽取的高频关键词进行适当的人工干预，将含义相同或相近的关键词进行同义词归并处理，如将“实际贡献”和“贡献”统一为“贡献”，“高等学校”和“高校”统一为“高校”，“代表性成果”“标志性成果”和“代表作”统一为“代表作”等。

（3）共现分析。基于分词结果，通过编程处理识别出每篇政策文本中的关键词对，最后选择荷兰莱顿大学的文本分析工具VOSviewer（1.6.15）进行关键词的共现和聚类分析。针对政策文本中关于错误科技评价倾向的批判性论述的分词结果，重复上述处理过程并进行单独分析。

3 结果分析

3.1 高频关键词分析

总词频前20的关键词见表2。分析可见评价导向相关的高频词包括“贡献”“创新质量”“创新能力”和“业绩”，这些词集中代表了当前我国科技评价工作的导向性需求。如最新修订的《中华人民共和国科学技术进步法》在“国家建立和完善有利于创新的科学技术评价制度”部分，新增加了“以科技创新质量、贡献、绩效为导向”的论述[14]。另外，高频词中的“评价制度”“评价指标”和“评价方法”则反映了对于科技评价工作的制度和方法性需求。针对具体的评价方法，除了传统的“同行评价”外，“分类评价”也被充分强调，结合原始政策文本论述，发现分类评价涉及当前科技评价工作的各个方面。如针对科技人员的评价，要体现不同职业、不同岗位、不同层次的人才特点，科研机构可按照从事科研活动的类型，分为技术研发类机构、社会公益性研究类机构和基础研究类机构等。分类的目的是分别建立相应的评价指标和评价方式，避免“一刀切”，从而实现合理的、有针对性的评价。

表2 总词频前20关键词

3.2 关键词共现分析

针对共现频次大于等于3的关键词对进行共现分析，在具体操作过程中剔除批判性的关键词节点，最终可视化效果见图1。可见当前我国创新驱动发展战略环境下的科技评价可大体分为：以创新能力和业绩为中心的人才评价，以贡献和代表作为中心的学术评价，以创新质量和绩效为中心的机构和项目评价。

图1 科技评价政策文本关键词共现图

3.2.1 以创新能力和业绩为中心的人才评价

结合原始政策文本论述和关键词共现聚类网络，创新驱动发展战略背景下的人才评价需求可归为导向性需求、制度性需求和方法性需求。其中，导向性需求主要涉及“创新能力”“业绩”“品德”“科学精神”和“职业道德”等内容。如《关于分类推进人才评价机制改革的指导意见》明确提出要“遵循人才成长规律，突出品德、能力和业绩评价导向”[15]。制度性需求主要包括“评价制度”“职称制度”和“代表作制度”，以及建立制度所需要的各类“评价标准”，如“职称评审标准”“国家标准”“地区标准”和“单位标准”等。方法性需求主要包括人才评价过程中涉及的各种“评价方法”，如“个人述职”“面试答辩”“社会评价”“市场评价”以及“评聘分开”等。职称评审是上述人才评价制度和方法的典型应用，如《关于深化职称制度改革的意见》针对“完善职称评价标准”，要求“以职业属性和岗位需求为基础，分系列修订职称评价标准，实行国家标准、地区标准和单位标准相结合……突出对创新能力的评价”，同时针对“职称评价方式”要求“采用考试、评审、考评结合、考核认定、个人述职、面试答辩、实践操作、业绩展示等多种评价方式，提高职称评价的针对性和科学性”[16]。

3.2.2 以贡献和代表作为中心的学术评价

学术评价主要衡量学者在“科学研究”特别是“基础研究”中的“贡献”，涉及的“学科领域”主要为“自然科学”和“哲学社会科学”，其中“论文”尤其是“代表作”是重要的评价依据。依据关键词共现聚类结果，创新驱动发展战略背景下的学术评价需求可归为导向性需求和方法性需求。其中，导向性需求主要涉及“贡献”“原创性”“科学性”“专业性”“社会效益”“学术水平”以及“影响力”等。结合以总链接强度（Total Link Strength）为权重的节点大小可见，“影响力”（95）节点远小于“贡献”（804）和“原创性”（198）节点，表明创新驱动发展战略背景下的学术评价更加强调学者在学术方面的“贡献”和“原创性”，而非“影响力”。学术评价的方法性需求主要包括“同行评价”“代

表作评价”“定量评价”和“定性评价”等，其中“同行评价”是最重要的评价方式。如教育部《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》针对评价方式，要求“完善同行评价，突出同行专家在科研评价中的主导地位，注重个人评价与团队评价相结合，坚持专家意见为主、定性与定量评价相结合”[17]。

3.2.3 以创新质量和绩效为中心的机构和项目评价

由于机构职能和项目类别的多样性，相应评价的导向性需求较为宽泛，除了位于中心地位的“创新质量”外，还涉及“创新绩效”“经济社会发展”“科学价值”“经济价值”“原创价值”“社会责任”“社会价值”“服务贡献”以及“人才培养”等多方面内容。评价所涉及的机构或项目的成果也存在多种表现形式，如“成果转化”“专利”“关键技术”“技术创新”“技术转移”“新技术”以及“新方法”等等。机构和项目评价的方法性需求主要包括“分类评价”“绩效评价”“第三方评价”和“综合评价”等。同样是由于机构职能和项目类别的多样性，在具体评价过程中进行分类评价就变得非常重要。如《关于优化科研管理提升科研绩效若干措施的通知》中要求“实行科研项目绩效分类评价”，并将科研项目分为基础研究与应用基础研究类项目、技术和产品开发类项目以及应用示范类项目[18]。

观察关键词共现聚类网络可见，上述三大类评价方向并不是分散割裂的，它们彼此之间联系非常紧密，相应的评价导向和评价方法也都是相互交叉的，例如针对从事基础研究的科研人员进行人才评价时，对其在学术方面的贡献进行学术评价就是主要内容，其在学术上的贡献也就是最重要的业绩；而以分类评价和同行评价为代表的评价方法也广泛应用于所有的科技评价过程中。三大类评价方向紧密配合，共同构成了创新驱动发展战略背景下我国科技评价工作的政策性需求框架。

3.3 批判性需求分析

批判性论述中词频前10的关键词见表3，所有批判性关键词的共现效果见图2。可见“N唯”是当前创新驱动发展战略背景下我国科技评价工作所要规避的主要内容，其中破除“唯论文”倾向则是重中之重，批判性关键词中的“SCI至上”“以刊评文”“非法买卖论文”“以刊代评”“抄袭代写论文”以及“高额奖励论文”等，都是“唯论文”倾向的具体表现或衍生出来的系列问题。

表3 批判性论述中词频前10关键词

图2 批判性政策文本关键词共现图

3.4 基础研究评价需求分析

基础研究是整个科学体系的源头[19]，在国家创新全局中具有非常重要的战略地位。由上述3.2.2节内容可知，针对基础研究的评价是学术评价的重要内容。为更好地分析基础研究的评价需求，本节将采集到的基础研究相关政策文本的关键词单独提取并进行共现聚类分析（见图3）。可见，以解决“重大科学问题”为牵引，基础研究评价的导向性需求重点包括“学术贡献”“创新质量”和“原创性”，所涉及的研究主体主要为“高校”和“科研院所”，而“代表作评价”则是最主要的评价方法。除“论文”外，基础研究评价同样强调对“新原理”和“新发现”等代表性成果的评价。

图3 基础研究评价关键词共现图

4 结论与研究建议

综合以上分析结果，创新驱动发展战略背景下我国科技评价工作的政策性需求包括紧密联系且相互配合的以创新能力和业绩为中心的人才评价、以贡献和代表作为中心的学术评价以及以创新质量和绩效为中心的机构和项目评价三大类评价方向。其中导向性需求主要涉及贡献、创新能力、创新质量和业绩，并根据评价对象的不同而各有侧重，相应的评价方法为以同行评价和分类评价为代表的方法体系，其中对于学术评价尤其是基础研究评价而言，代表作评价则是主要的评价方法。结合政策文本分析结果和当前的科技评价工作现状，为更好地满足国家层面对于科技评价工作的政策性需求，完善有利于创新的科技评价制度，建议领域学者重点关注以下方向并开展相关研究。

（1）创新导向性需求评价的理论和方法研究。已有政策文本针对科技评价导向性需求中的“创新能力”和“创新质量”给予了充分强调，如教育部和科技部2020年发布的《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》中，强调“对创新能力的评价突出创新质量和实际贡献”。然而，由于缺乏足够的理论支撑，关于创新能力和创新质量的主体、客体及其核心属性等内容尚未有公认的界定。例如，关于创新能力的主体，仅从字面意思解读只能是科技工作者，但通过叠加科技工作者的相关属性，同样也可适用于项目、学科、机构、地区以及国家等层面。同时，较差的可操作性也限制了创新导向性需求在科技评价工作中的效用发挥。因此有必要开展针对创新导向性需求评价的理论研究，解构相关核心概念和核心需求，进而指导相应的评价方法研究与实践。开发符合创新导向的创新能力评价方法，更客观地描述科技人员的创新质量和实际贡献，对于完善有利于创新的科技评价制度有重要意义。

（2）代表作评价的方法研究和制度建设。根据3.3节分析，破除“唯论文”倾向是当前科技评价工作的重要内容，代表作制度则是破除“唯论文”的重要举措，且已得到科技界公认[20]。关于代表作识别与评价方法，在早期相关研究和实践过程中，倾向于将代表作视为定性评价的主要形式，评价方法则为“同行专家评议”。鉴于从成果的内容、创新性及对社会的贡献程度等方面笼统地选择代表作难度较大、可操作性较差，文献计量方法在代表作评价中的辅助作用逐渐显现，而目前能够清晰界定代表作选择标准的实践也大多是基于文献计量学层面的研究[21]。然而已有基于文献计量识别代表作的方法主要利用了论文被引频次或其衍生指标[22]，倾向于评价论文的影响力，并不能完全代表论文的真实创新水平和实际科学价值。另外，当前的代表作识别和评价研究倾向于在学术论文层面展开，非

论文形式的代表作识别方法较为薄弱。因此有必要深入开展针对代表作识别与评价的方法研究，建立完善的代表作评价方法体系，助力形成创新导向的代表作制度。■