□文│赵 均 李 波

定性评价学术论文是评价者基于个人的教育背景、研究习得和对学术前沿的把握，对论文的意识形态导向、学术水平和写作质量等做出的主观价值判断。学术论文定性评价的历史悠久，与学术论文这种信息承载方式相伴而生，并且一度曾是唯一的论文评价方法。即使在时下“影响因子”作为主要评价指标的情况下，在精细化评价、比对性评价、定性定量相结合评价等工作中，定性评价依然有“一席之地”。随着大数据分析方法的加入，定性评价也必将在学术论文评价中重新焕发生机，发挥更为重要的作用。

相较于学术论文的影响因子、被引频次等定量评价指标而言，定性评价指标更加难以获得公允，莫衷一是。这一点从各类学术论文评选和各家学术期刊审稿标准的不统一就可以看得出来。一方面，评价意见需要通过预先设定的定性评价指标来体现，以打分的形式获得具体表达，否则难以实现评价意见的比较和汇总；另一方面，学术共同体对于论文定性评价指标的具体划分和指向又没有规范性的指导，再加上汉语词汇意合性强、语义模糊的特点，更使得对于学术论文定性评价指标的表述难以获得具象收敛。

定性评价是对学术论文最直观显性的主观评价，定性评价指标的混乱在一定程度上也影响到了定性评价学术论文的有效性和整体一致性。对学术论文开展大数据分析评价更需要用户依据统一的定性评价指标打分，这也使得对定性指标的划分开展研究显得尤为重要。理论上来说，学术论文定性评价指标不论如何划分，都不可能是面面俱到、绝对正确的。尽管如此，仍旧应该对其展开深入研究，以实现尽可能最有利于评价者打出无限接近学术论文实际学术水平的分数。

一、定性评价标准的搜集整理

要想获得普遍认可的学术论文定性评价指标，首先是要尽可能全面地搜集学术共同体对此的大量普遍认识。学术论文被公认为是最能迅速反映学术研究成果的信息承载方式，对论文定性评价标准的相关表述的搜集整理工作也应该从相关学术研究论文着手。

考虑到搜集的目标是获得对于论文评价的各种相关表述，目的是为下一步凝练评价标准做准备工作。基于此，笔者通过中国知网，以“审稿”作为主题词，搜集了2011-2020年间刊登在学术期刊和学术辑刊的16114篇论文。再对其进行优选，挑选被引用过的论文合计1686篇，将其作为基础研究对象（见表1）。

表1 优选后的相关学术论文篇数（2011-2020）（截至2021年3月1日）

由于汉语的表达丰富性，同一种说法可以有多种表述。通过逐篇阅读以上论文，在记录其中有关审稿标准的内容、逐条进行甄别汇总归并同类项的同时，也在归并这些类型的表述。初次甄选合并确定有关审稿标准的条目如表2所示。

表2 初次甄选合并后的有关审稿标准条目数

二、评价指标的确定

评价工作的简便性要求评价标准本身具有简明性，如果设定的评价标准太多，必然会影响到学者评价打分的积极性，且以上搜集到的定性评价表述本身也存在着交叉重叠问题。因此，需要深入分析这些表述的理论内核，对相关表述进行删减和合并，精炼文字表达，以明确评价者打分时的评价取向。进一步凝练整合后获得以下表述：

①意识形态导向：是否符合党的新闻出版政策和社会伦理道德等要求；

②创新性：新思路、新方法、新发现、新认识等；

③科学性：论点合理可靠、论据恰当充分、论证逻辑严密；

④重要性：选题价值、结论重要性；

⑤实用性（可借鉴性）：对实践有指导意义（自然科学领域学术论文），有可参考性（人文社科领域学术论文）；

⑥写作质量：标题精炼、摘要简明、关键词准确、图表合理、公式必要、引证规范、行文流畅、文字精当、结构合理、数字和计量单位符合标准。

需要特别指出的是，对于结论方面的评价，我们将之分为两个方面，一方面是通过论证或实验之后，结论是否合理可靠；另一方面是结论是否重要。我们常会看到这样的论文，经过一系列逻辑严密的论证之后，获得了一个人所共知的结论，但论证的科学性没有任何问题。考虑到这种情况，我们把“结论合理可靠”的评价放入“科学性”项，而把“结论是否重要”放入“重要性”项。之所以要设置“重要性”这一项，就是考虑到“选题价值”和“结论重要性”不是一个是否科学的问题，而是一个重要性的问题。

因此，学术论文评价指标可以分为三个层级，第一个层级是意识形态导向、学术价值、写作质量。第二个层级，在意识形态导向项下可以分为政治导向和社会伦理道德要求，在学术价值项下可以分为学术水平和学术影响，在写作质量项下可以分为简明流畅要求（标题精炼、摘要简明、关键词准确、行文流畅、文字精当、结构合理）、合理必要要求（图表合理、公式必要）和标准规范要求（引证规范、数字和计量单位符合标准）。第三个层级，在学术水平项下可以分为创新性、科学性、重要性、实用性。第四个层级，在科学性项下分为论点合理可靠度、论据恰当充分度、论证逻辑严密度，在重要性项下分为选题价值和结论重要性（见图1）。

图1 学术论文定性评价指标层级图

三、评价指标权重核算

遴选后的各项定性评价指标不可能同等表现，其权重分配应该来自于对学术共同体普遍认识的调研分析。考虑到定性评价指标调查统计的模糊性特征，评价结果受到多个指标的影响，且这些指标相互关联、相互制约，最适合的统计分析方法是层次分析法。层次分析法的基本原理是依靠排序来区分优劣等次，首先把所要研究解决的问题看成是在多重因子作用下的体系，将体系所要考察的因子根据互相的等级和隶属关系排列，再邀请一定数量的专家学者对各因子两两比较其重要程度。最后利用数理统计方法，对各因子分层排出秩序，获得分析研究结果。[1]

1.调研内容的设计

为了获得者各项评价指标在用户评价中的地位和权重， 对层级设计和调查问卷内容的安排进行讨论优化。“意识形态导向”“学术影响”不需要调研，“写作质量”“创新性”“实用性（可借鉴性）”不需要下分选项。按照层次分析法的结构，将评价指向重新定义，将图1简化为图2。

图2 调查问卷评价指标重新定义层级图

2.调研对象的遴选

学术期刊是传播科学知识的主要媒介，同时也是学术共同体学习和交流学术研究成果的重要平台。学术期刊的编辑群体由于工作岗位要求，主要的工作对象就是学术论文，日常承担着大量的审稿、改稿、发稿任务。他们对某一篇论文学术质量的评价也许比不上该学科领域的知名专家学者，但对论文的评价指标权重分配的讨论，却是学术共同体中最有发言权的。特别是优秀学术期刊的编辑，由于日常审看和加工的都是本领域的优秀稿件，与本领域的优秀作者群体交流甚密，更是学术期刊编辑群体中的理想被调查样本群体。基于这种认识，调研范围框定在了这些优秀学术期刊的编辑群体。

为了覆盖全部学科门类，被调研人群对象也必须兼顾各学科的学术期刊。因此，最终将开展调研的样本采集范围设置为《中文核心期刊要目总览》（2020年版）遴选出的核心期刊群，进行分学科抽样。考虑到相近学科的学术研究共通性较高，同时考量所属学科核心期刊的数量，可以酌情将相近学科归并，这样便于统计分析。归并之后的核心期刊数量采用四舍五入原则，来确定提取样本数量（见表3）。

表3 学术期刊调研抽样比例

3.指标权重计算结果

按照《中文核心期刊要目总览》2020年版的分类方法，依据分类调研的数据，对各层次评价指标在人文社科、自然科学、医药卫生、农业科学、工业技术这五大类学术论文的权重分别进行计算，以提高对各专业领域学术论文评价的精准度。同时也考虑到在具体评价实践中为了提高效率或者兼容交叉融合领域的学术论文，可能需要忽略论文的学术方向，我们也计算了各层次评价指标在不分专业领域情况下的权重。在学术论文定性评价的具体实践工作中，可以根据评审数量和评选要求的精细化程度来选择指标层级。如果精细评价到第三个层级，论文定性评价指标分为意识形态导向、创新性、科学性、重要性、实用性、写作质量共6个指标。其中意识形态导向是评价学术论文的首要标准，如果论文在意识形态导向上有问题，直接一票否决制。精细到第三层次时各指标权重分配见表4。

表4 精细至第三层次的定性评价指标权重分布（保留至小数点后三位）

如果精细评价到第四个层级，论文定性评价指标分为意识形态导向、创新性、论点合理可靠度、论据恰当充分度、论证逻辑严密度、选题价值、结论重要性、实用性、写作质量共9个指标，各指标权重分配见表5。

表5 精细至第四层次的定性评价指标权重分布（保留至小数点后三位）

四、结语

大数据分析方法对传统定性评价方式的重新定义，赋予了定性评价指标研究的现实意义和实践需求。[2]对此进行更为深入的研究，对于学术论文、学术期刊、学术成果的评价工作都会产生连锁反应。

学界对学术论文定量评价指标的研究和讨论比较常见，对定性评价指标的讨论较为少见。这并不能表明定性评价指标的不重要，究其原因，还是源于定性评价指标的不好划分、不好描述、不好验证。为了克服这些困难，本项研究分为梳理定性评价指标和调研分析指标权重两个部分。梳理定性评价指标部分从10年间的相关研究论文中提取涉及学术论文定性评价的表述，分类合并、逐项分析，不需要精确比较孰多孰少，而在于尽可能全面地获得定性评价意见指向，明确具体指向、合理划分层次；在获得指标指向和层次的基础上，调研分析指标权重部分对核心期刊群进行调研统计抽样，利用层次分析法计算出各项指标的权重分配。在实际评价中，主办方可以综合考虑评审要求，评审时长、参评论文量、资金投入等因素自主选择将评审指标精确到第三层次或第四层次。