APP下载

基于特征数据的开放式同行评议关键因素的实证分析

2022-10-11徐小然

中国科技期刊研究 2022年8期
关键词:评议开放式变量

■贺 颖 徐小然

天津师范大学管理学院,天津市西青区宾水道393号 300387

在开放科学的背景下,研究者们正积极探索开放式同行评议的实践发展道路。Ross-Hellauer[1]、刘春丽等[2]和Ford[3]分别从定义、思想以及实践等角度分析了开放式同行评议的基本特征要素,比如公开评议专家信息、评议意见、作者回复甚至编辑的决定等。同时,在这些基本要素的基础上,对开放式同行评议模式的探索成果层出不穷,例如彭琳等[4]认为以BioMed Central(BMC)系列医学杂志为代表的公开评议结果模式(公开评议人身份或评议意见等)是最普遍的开放同行评议模式,占比约为70%。F1000Research、PLoSONE、The Winnower等推行出版后开放式同行评议模式[5];还有发表前(出版前)开放式同行评议[6]、完全开放式同行评议、传统与开放相结合同行评议[2]等多种模式,开放程度与内容有所不同。一般来说,评议人的身份公开、评议结果和评议过程的开放是划分同行评议模式的主要依据[7]。纵然实践模式不同,到2018年,多学科数字出版机构(Multidisciplinary Digital Publishing Institute,MDPI)所有期刊均提供“开放式同行评议”选项。杜杏叶等[8]调查发现半数中国学者接受对学术论文的公开评审,而且实施开放式同行评议的论文存在引文优势[9-10],其他研究也普遍显示出对开放式同行评议的积极态度[11]。Walsh等[12]研究发现,有评议专家签名的评论比未署名的评论更有礼貌,质量更高,也更容易推荐论文发表。Perakakis等[13]认为在倡导的开放环境下,大型科学团体在评估稿件质量,特别是在发现欺诈或剽窃来源方面的效率远远高于两三个匿名的评议专家。

针对开放式同行评议的界定,Wolfram等[14]发现约617种开放式同行评议(Open Peer Review, OPR)期刊(截至2019年)发表了至少一篇公开评议人身份或公开评议报告的文章。多种开放式同行评议的实践使用两个重要因素来定义透明度:公开评议人身份和公开评议报告。虽然Nature于2006年进行的开放式同行评议实验以失败告终,但2018年,Nature也开始呼吁公开发布同行评议报告[15]。Ross-Hellauer等[16]研究发现,虽然多位学者不支持向作者开放评议者身份,但他们非常支持开放式同行评议的大多数特征,尤其是开放互动、开放式报告和开放最终版本的评论。李子星等[17]建议我国学术期刊从公开评议报告开始,将“选择实名”纳入到同行评议过程,逐步推进学术共同体接受开放同行评议。在所有的定义中,开放式同行评议注重的核心要素是披露评议者身份(开放身份)和公开评议报告(开放报告)[1]。例如,Wiley出版集团就将开放式同行评议定义为“在评议过程中或评议后,所有参与者都知道作者和评议人的身份”,而将透明性同行评议定义为“评议报告与发表的文章一起发布,且允许评议专家选择是否公开他们的身份”[18]。李晓[19]在对3种审稿方式(单盲、双盲、公开同行评议)进行比较时,认为区分三者的关键在于是否向作者和评议专家提供对方的信息。

开放式同行评议的实践正处于探索阶段,其研究还没有形成统一、完善的理论体系,针对开放式同行评议影响因素的多数研究还局限在访谈和调查问卷等抽样方法中,缺少大数据方法的验证。因此,本文在开放科学的环境下,对建立在开放获取数据基础上的开放同行评议实践影响因素进行研究,即采集开放获取期刊(以下简称“OA期刊”)的数据,从实证的角度探讨开放式同行评议实践的关键性影响因素,为编辑部和科技管理部门提供参考。

1 材料与方法

1.1 数据来源

Directory of Open Access Journals(DOAJ)是OA期刊文献检索系统,但不包括预印本资源。DOAJ由瑞典隆德大学图书馆创建和维护,其收录的OA期刊数量达到17567种,是优质的OA期刊目录网站。该系统收录期刊的文章都经过同行评议,且其收录的OA期刊分类井然有序,开放式同行评议期刊覆盖面广、刊文范围清晰、代表性强、更新及时,有利于开展研究工作,因此,DOAJ是本研究的最佳数据来源。DOAJ数据库中有176种期刊(数据统计时间截止到2021年8月3日)实行开放式同行评议,其中有166种期刊的数据有效且可利用,占比为94.32%。

1.2 研究方法

1.2.1 多重对应分析

对应分析也称关联分析或R-Q型因子分析,是近年新发展起来的一种多元相依变量统计分析技术,通过分析由定性变量构成的交互汇总表来揭示变量间的联系[20]。此方法可以揭示同行评议指标中同一变量的各个类别之间的差异,以及不同变量各个类别之间的对应关系,即通过多重对应分析可以直接验证开放式同行评议的各种指标、不同类别之间的趋向程度,为下一步回归分析检验显著性提供选择。

1.2.2 最优尺度回归分析

普通线性回归对数据的要求十分严格,当遇到分类变量时,线性回归无法准确地反映分类变量不同取值的距离。比如开放评议类型、作者身份是否公开、评议专家身份是否公开、评议报告是否公开等都是平级的,没有大小、顺序、趋势之分,若将它们直接纳入线性回归模型,可能会失去自身的意义。最优尺度回归则可以解决类似问题,它擅长将分类变量按不同取值进行量化处理,从而将分类变量转换为数值模型进行统计分析[21]。在多重对应分析后确定与开放式同行评议关联度高的变量,随后利用最优尺度回归分析其中具有显著作用的最优变量。

2 研究过程

开放式同行评议在实践中有完全开放和不完全开放两种类型,因此,设置因变量——开放评议类型。根据上文所述开放式同行评议的定义,其在实践过程中应该有7个相关因素:公开评议人身份、公开评议报告、开放参与、出版前公开评议、出版后评议、作者与评议人公开交互和开放评议平台。将影响因素拆分、归纳、合并为5个可测量指标作为自变量:(1)作者身份是否公开;(2)评议专家身份是否公开;(3)评议报告是否公开;(4)交互讨论(由开放参与、作者与评议人公开交互、开放评议平台3个因素归纳而成);(5)评议出版顺序(由出版前公开评议、出版后评议2个因素归纳而成)。每个指标的赋值情况详见表1。逐一在DOAJ数据库和各期刊官网上爬取176种开放式同行评议OA期刊对应指标的信息,并对每一指标的不同分类进行赋值,得到原始数据,部分期刊的数据见表2(176种期刊的数据见电子版附表)。

表1 开放评议指标分类赋值表

表2 部分开放式同行评议的OA期刊评议特征数据

3 结果与分析

3.1 多重对应分析结果

图1为区分程度图,用散点坐标的形式显示各变量在两个维度上的区分程度。可以看到,开放评议类型、评议专家身份、评议报告、作者身份这4个变量的第一维度区分程度要大于第二维度,其中,开放评议类型与评议专家身份的区分度最接近。交互讨论、评议出版顺序在第二维度的区分程度更大。

图1 区分程度图

图2为多重对应分析图,其读图原则是:落在从图形原点(0,0)出发的相同方位上、大致相同区域内的同一变量的不同类别具有类似的性质;落在从图形原点出发的相同方位上、大致相同区域内的不同变量的类别间可能有关联。使用分象限的方式来考察散点群间的联系。根据以上原则,可以得到以下线索:(1)“实名注册后讨论”与“出版后评议”有联系;(2)“不完全开放评议”与“作者身份自愿匿名”“评议专家身份自愿匿名”“评议报告不公开”有联系,这印证了不完全开放评议的特点,且“不完全开放评议”与“评议专家身份自愿匿名”距离非常近,说明两者密切相关;(3)“出版前评议”与“无交互讨论”有联系,且与原点距离很近,说明这是当前开放式同行评议较为常用的实践方式;(4)“完全开放评议”与“作者身份公开”“评议专家身份公开”“评议报告公开”有联系,这印证了完全开放评议的特点,同时可以看出“完全开放评议”与“评议专家身份公开”位置非常接近,说明两者的关系极为密切。

图2 多重对应分析图

从以上分析可以得出,开放式同行评议实践中作者身份、评议专家身份以及评议报告是否公开为3个主要影响因素,但最终影响开放式同行评议实践方式的关键因素是评议专家身份是否公开。在通常采用的开放式同行评议实践模式中,大部分是出版前评议且没有交互讨论。

3.2 最优尺度回归分析结果

所构建的多元线性最优尺度回归结果如表3所示,其中Bootstrap自助抽样法是一种重要的统计推断方法,利用有放回的重抽样技术,估计任何样本统计量的分布,常用于计算统计量的标准误差。值得注意的是,只有“评议专家身份”(P<0.001)和“评议出版顺序”(P=0.027)通过了显著性检验(P<0.05),说明只有这两个自变量对因变量“开放评议类型”有显著性影响,但“评议专家身份”的β系数值0.917远远高于“评议出版顺序”的β系数值0.031。因此,因变量开放评议类型(A)的回归方程为A=βiai=0.014×a1+0.917×a2+0.086×a3+0.031×a4+0.004×a5。

表3 最优尺度回归方程系数与显著性检验表

表4所示为自变量的相关性与容忍度,其中有一个非常特殊的指标“重要度”,它表征自变量对因变量影响的重要程度。从表4可以看出:“评议专家身份”对“开放评议类型”非常重要,重要度值高达0.966;其次是“评议报告”和“评议出版顺序”,但这两个变量的重要度值远远低于“评议专家身份”。

表4 自变量的相关性和容忍度

4 结论

开放式同行评议的定义和内涵包括多个方面,比如要求身份信息的公开、评议报告的公开出版、交互讨论、评议出版顺序。本研究的分析结果表明:开放评议类型与评议专家身份这两个变量的不同类别紧密相连;评议专家身份的回归系数通过了显著性检验,且回归系数最大,对因变量(开放评议类型)的重要度值也最大。这说明评议专家身份的公开与否已成为开放式同行评议实践模式的核心影响要素。在概念内涵上,开放式同行评议需要同时开放评议者身份信息和开放评议报告,有强制开放的意味;而透明性同行评议更强调评议报告的公开,对开放身份信息则赋予可选择性。因此,透明性同行评议作为开放式同行评议的一种子类型,更加人性化,学者对它的接受程度更高、实践意愿更强。在实践过程中,透明性同行评议充分尊重评议专家的匿名评审权,给予评议专家自愿选择是否开放身份的机会,因此得到评议专家的支持,透明性同行评议成为当前开放评议的主要实践模式。事实上,如果因评议专家担心身份公开而排斥开放式同行评议,期刊可以采用区块链(Block Chain)的非对称加密技术保护评议专家的个人隐私,允许匿名评审,解决评议专家的心理障碍问题。以传统双盲审的匿名形式进行开放评议的互动过程,既能保证同行评议的公平、公正、公开,便于管理部门监督和监管,又能促使更多的评议专家投入到开放式同行评议之中。

开放式同行评议实践过程中能够直接观测且便于测量的指标不多,故本研究未能展示其影响因素的变化及发展过程。今后需要拓展更多的可观测指标以观察开放式同行评议实践模式的发展变化特征。

猜你喜欢

评议开放式变量
强化述职评议 落实主体责任
基于YOLOV5与Raspberry PI及Arduino的视觉开放式智能机器服务平台
大型开放式网络课程中游戏元素分析
开放式数字座舱软件平台IndiGO
人大“评议+询问”:助推漯河转轨发展“快车道”
某市委宣传部遴选公务员试题
分离变量法:常见的通性通法
不可忽视变量的离散与连续
晨星开放式基金业绩排行榜
轻松把握变量之间的关系