APP下载

面向预印本系统的自组织同行评议及激励机制研究

2019-02-25石进苗杰李明

现代情报 2019年12期
关键词:激励机制

石进 苗杰 李明

摘要:[目的/意义]在线科研与开放存取日益成为学者科研的主流趋势,预印本系统作为一种在线学术交流平台,以学界自治为基础,具有科研交流效率高、速度快、民主化等特点,然而由于缺乏配套的质量控制与学术评价机制使其发展遭遇瓶颈。[方法/过程]有学者提出了一种自组织同行评议模式适应开放存取环境下的学术评议活动,本文在此基础上扩展,提出在线论文评分模型和虚拟积分激励机制,实现对预印本论文的学术评价和对预印本系统用户的激励管理。[结果/结论]弥补传统同行评议模式存在评审过程不够透明、评议结果不够公正、对评议者缺乏激励等问题。这种新的学术评价模式具有科学高效、客观公正、公开透明等特点。

关键词:预印本系统;学术评价;同行评议;评分模型;激励机制

DOl: 10.3969/j .issn .1008 -0821 .2019 .12 .011

[中图分类号] G230.7 [文献标识码]A [文章编号]1008-0821( 2019) 12-0088-13

预印本是指科研人员出于同行交流目的,将尚未在正式出版物上发表的研究成果(包括科研论文、元数据、研究报告等,以下简称论文),自愿发布在学术会议或互联网上,供全世界读者免费检索和阅读[1]。预印本系统起源于19世纪,美国物理学家Paul Cinsparg在1991年创立世界上最早的预印本网站ArXiv(最初命名为Los Alamos E-printArchive)。但是由于没有建立一套替代传统同行评议的科研评价模式,以预印本系统为代表的在线学术交流并没有迅速发展起来。在传统纸质期刊学术交流模式的排挤和压迫下,预印本系统未能得到学术团体、科研管理机构和基金组织的广泛关注和认可。

近年来,计算机网络技术的飞速发展从根本上改变着信息交流的方式,逐渐超越时空限制,呈现快捷、高效、数字化等特点。预印本系统具有交流速度快、利于学术争鸣、可靠性高等特点,渐渐吸引了学术界的关注[2]。以学界自治为基础的预印本学术交流模式正在快速发展,国内外各个学术领域开始搭建预印本系统(Electronic Preprint Ar-chive),用于预印本的发布、检索和使用[3]。虽然预印本系统可以弥补传统出版模式存在的论文发布周期长、很少免费向公众提供服务等缺陷,但是针对传统期刊采用的同行评议模式存在评审过程不够透明、评议结果不够公正、对评议者缺乏激励的问题尚未解决[4]。学术界不仅有学术发表的需要,更有学术评价的需要,在高度职业化和体制化的科研背景下,科研人员、基金组织、科研管理机构对于高质量的论文评价信息具有迫切需求。预印本系统由于缺乏科学有效的评议与审核机制,导致论文的质量难以把控,使得学术界难以在预印本系统中快速定位自身需要的高质量文献及相关评价信息,这成为当前制约预印本系统发展的关键因素[5]。

1 研究现状与相关工作

1.1 預印本发展现状

最初的ArXiv仅服务于高能理论物理领域,作为一个供物理学家将撰写的手稿快速发布电子档案。当时量子力学刚刚诞生,高能物理学界的重要成果如雨后春笋般涌现,物理学家迫切需要将自己的最新研究进展和成果发布出去与同行交流,占领研究前沿的首发权,因此ArXiv很快被物理学界接受和使用[6]。自1991年8月创建,短短几个月ArXiv用户从200人上升到1 000人[7]。但是由于生长环境局限和缺乏质量控制,预印本系统没有迅速发展起来。直到近几年新技术的飞速发展为预印本的发展提供了技术支撑,另一方面在知识经济背景下,信息交流呈现快捷、高效和数字化特征,开放的学术交流也愈加强调时效性,审稿周期普遍较长的传统出版体制渐渐不能满足需求,预印本系统重新引起了学术界的广泛关注[4]。2016年10月,ArXiv系统的新提交论文达到10 100篇,首次单月提交论文量过万;2016年5月,著名的传统出版集团Elsevier收购了社会科学领域的预印本系统SSRN (Social Science Research Network)[8]; 2017年4月.Facebook总裁扎克伯克基金会提出“多年期资助方案”资助生物学领域品牌预印本系统BioRxiv[9]; 2017年8月,ChemRxiv是首个国际化学领域的预印本平台,由美国化学学会主导,英国皇家化学学会、德国化学学会参与创建[10];期间其他学科也纷纷建立自己的预印本网站,包括能源研究领域创建了engrXiv、心理学领域发布PsyArX-1V、法律领域启动了LawArXiv等。国内的预印本系统包括较早创立的中国预印本服务系统、中国科技论文在线和中国科学院科技论文预发布平台( ChinaXiv)。ChinaXiv于2016年发布,是国内首个按国际通行模式规范运营的预印本平台。当前,国内外一些预印本系统的发展程度不一,有些已在一定程度上得到了相关领域学者的关注和认可,有些系统处于起步阶段关注度还不够高,表1展示了国内外主要预印本网站的基本信息和当前投稿量。

预印本系统虽然能够较好地适应当前科研环境开放、快速的学术需求,但是其发展过程中仍存在一些问题需要进一步讨论。Eysenbach G[11]指出,包括美国免疫学家协会( AAI)在内的许多科学家对生物医学预印本系统提出强烈抗议,原因是担心大量未经同行评审的低质量科研论文会给他们带来负担。Warr,WA则表示预印本的概念得到关注而没有被广泛接受,化学家们一直不愿提交预印本是因为当前预印本仍不允许用于研究评估、职称评选,部分预印本论文也会被知名期刊拒绝出版[12]。但是缺乏科学、统一的学术评议模式导致预印本文章的质量控制问题是当前发展的局限所在。

1.2 基于同行评议的传统科研评价体系存在的问题

传统的学术期刊主要有两个功能,学术传播和学术评价。而纸质期刊的学术评价主要通过出版商组织的以编辑为中心的同行评议模式。美国国家科学基金会( NSF)提出:同行评议是NSF根据决策过程标准,负责评审的NSF官员确定哪些申请者应当被资助时参考的就是该领域其他同行的评议结果。2012年12月,我国颁布《国家自然科学基金项目管理规定(试行)》中定义如下:同行评议是指同行评议专家对申请项目的创新性、研究价值、研究目标、研究方案等做出独立的判断和评价,一般采取通讯评议方式[13]。

同行评议主要被应用于科研项目管理以及学术论文的评审当中,具有其独特的优势。同行评议制度在一定程度上解决科研工作所具有的不确定性和专业性的评价问题,能够促使科研工作者一定程度上展示自己所掌握的科学信息并准确判断这些信息和价值,能够有效阻止伪科学知识产品流人社会,有利于科研资源的合理配置。但是在长期的实践中,这种模式也逐渐暴露出诸多弊端,主要可以归纳为两类问题:第一是同行评议制度自身机制的问题;第二是同行评议方法在运用时产生的问题。

关于同行评议制度自身机制的缺陷,主要包含公正性和可靠性两方面。公正性是指保证申请人得到客观、無偏见的同行评审。也就是说评审人做出评价的依据只能是评价对象的学术价值,不应受到申请者本身的年龄、性别、声望、身份地位、工作单位等因素影响。陈进寿探讨同行评议制的完善与发展问题时认为无法完全克服人际关系影响[14]。郭碧坚等分析了“名人效应”这一社会现象对同行评议公正性的影响[15]。可靠性是指评审人的评审结果一致的概率。在进行同行评议时,不同的评议人认知水平等方面难免存在着差异,因此会得出不同的评议结果;随着时间推移,同一评议人的认知水平也会变化,导致评审结果的不一致。郑兴东等围绕非共识项目的分布特征和成因的讨论可以作为区分申请项目是否为高质量项目的依据之一。

关于同行评议方法运用时产生的问题,主要包括公开性和效率性。公开性是指评审机构将同行评议制度的评议标准和评议结果向外界公开的程度。当前的同行评议主要采用双盲匿名的评审方式,这种信息保密制度在一定程度上保证评审的客观性,但是评价信息完全保密会产生评价结果缺乏监督、专家信息无法共享、不良专家无法规避、被评议人无法申辩等弊端[19]。但是仅对被评议人的单盲或者完全的公开评审会导致偏见的产生。效率性是指评议过程中投入的人力、物力、财力以及时间的多少。当前的期刊的审稿过程采用由出版商组织以编辑为中心的同行评议制度,投入较多的人力、物力和财力,但是由于评价缺乏有效的激励和监督机制,导致评价人的权利和责任不对称。评议人在评价活动中处于绝对自由状态,其承担的评价工作无经济、声誉等方面的激励,对懈怠谋私的评议人也缺乏监督惩戒。导致评审速度缓慢,审稿周期过长,使被审稿人在相关领域的研究成果丧失优先权[16]。

综合来看,传统学术期刊采用的同行评议机制能够促使科研工作者一定程度上展示自己所掌握的科学信息并准确判断这些信息和价值,能够有效阻止伪科学知识产品流入社会。但是由于同行评议制度本身和设施过程中存在的问题,导致纸质期刊的出版模式面临困境。由于缺乏有效激励和监督机制产生的审稿速度慢,存在懈怠谋私的评议人。由于评审信息的非公开性,极大降低了评议人和期刊编辑的风险,存在选择性发表、关系稿放行、编辑干扰等弊端。因此在预印本系统蓬勃发展的背景下,有必要对传统的同行制度进行改进,开发一种新的适应开放科研环境的科学有效的学术评价模式。

1.3 预印本系统评议模式研究现状

预印本系统的工作原理是机构按照一定的学术交流目标,利用开源软件开发预印本系统网站并建立数据库,用户注册登陆后按照系统规定提交自己的学术论文及元数据,系统进行快速审核后存人数据库供读者检索使用[3]。为实施预印本的学术质量控制,目前的预印本系统逐渐发展出新的开放评议模式,例如ArXiv于2004年1月开始逐步建立审核机制,要求不活跃作者提交预印本时,得到该领域活跃作者的认可[17]。中国科技论文在线采用“先公开、后评审”的方式控制学术质量,成立了顾问委员会对预印本系统中在线提交的最新论文进行评审并收录优秀论文,其中包括35名中国科学院和工程院院士。BioRxiv等网站逐步建立文章的公开评论功能,采用这种方式对上传至预印本网站的论文起到了一定的监督作用,同时增加了文章评议的透明度[7]。王凌峰提出了E -prints预印本系统的自组织同行评议模式,在预印本系统环境下设计一套规则使论文作者和读者之间自组织相互评议,从而解决传统期刊和编辑组织同行评议的模式存在的弊端[6]。图1是自组织同行评议的预印本系统构建的主要步骤,具体如下:

1)制定日常管理制度,建立常设机构,执行费用管理、系统监管等任务。

2)系统运行规则设定,包括成员注册规则、论文发布与版本管理规则、论文访问规则等。

3)系统评议规则设定,包括论文评议规则、评议者优化配置规则、积分奖惩规则等。

4)软件系统实现,采用开源软件平台创建预印本文库。

5)风险控制与学术不规范行为处理相关规定。

自组织同行评议模式的评议效度是其能否得到学术界的广泛认可的关键,因此至少不低于传统的同行评议模式才能推动预印本系统的发展,实现学界自治的新型学术出版模式。在自组织同行评议模式设计中,核心环节是对积分体系的讨论,科学、高效、公正、合理的积分体系能够激励论文读者积极参与并作出高质量的评论,进而使预印本系统得到高水平科研工作者的认可,将更多的高质量论文发布到平台上。当预印本文库中的论文数量和质量都得到保证后,将会吸引更多的读者关注和使用,并参与到自组织同行评议的过程中,形成良性循环的学术评议生态环境。

本文致力于详细讨论并设计一套科学的论文评分模型和公正的积分激励机制,保证自组织同行评议模式能够高效率、可持续的运行和发展,推动预印本系统对传统学术出版模式的变革。自组织同行评议模式的用户积分管理和论文评分管理两个模块,分别设定用户等级和论文定级的分级管理,在整个论文评议周期内采用“单盲”和“公开”分段评论的方式,充分保证评议过程的公正和可靠。

2 自组织同行评议机制的架构设计

2.1 自组织同行评议的目标

预印本系统是对“学术出版”模式的一种变革,学术出版的作用可分为两个方面,学术传播和学术评价。基于网络与信息技术的在线预印本数据库,自身具有便捷和快速的特点,能够满足科研工作者及时、快速的学术传播与交流的需求。但是对预印本论文缺乏权威科学的质量控制和学术评价是当前以预印本为主要模式的开放存取运动存在的最大局限。推进预印本系统的发展根本在于对与预印本论文进行科学的、公正的、有效的质量控制,设计一套适用于预印本系统的学术评价机制。但是这种学术评价机制绝对不能以牺牲时间为代价,否则便回归了传统同行评议模式存在的主要弊端。

在设计学术评价机制前,需要明确预印本系统运行的体系架构和参与主体之间的关系,如图2所示。预印本系统具有论文管理、用户管理、组织评议等功能,系统用户可以两种身份作为主体参与预印本系统运作,分别是论文作者和读者(用户往往在两种身份间转换)。预印本系统接收作者提交的论文进行唯一标识和发布,然后组织读者对论文进行评议,将读者的评议进行公开、汇总和整理。作者获得来自预印本系统的论文评议结果和用户积分,而进行评议的读者同样获得系统核算的相应积分。预印本系统设计第三方监督机构,接受来自作者和读者的反馈意见,对预印本系统的运行实施监督。

前面已经讨论,传统同行评议的弊端包括效率低下、不透明且激励不足等问题。在预印本系统的运行中,开发自组织同行评议机制的目的有两个方面:一是对发布到系统的预印本论文进行的学术评议,保证论文的高质量,因此需要设计一个客观公正的论文评分模型;二是需要增强预印本系统用户的参与度,增强论文提交、阅读、下载和评议的积极性,因此需要建立一个科学有效的激励机制;两个目标之间相辅相成、相互促进的关系:好的评分模型筛选和标记出高水平论文,提高预印本系统的学术质量控制,能够使科研工作者和科研机构快速定位和获取所需要的前沿研究成果和学术评价信息,因此吸引更多的学者关注和使用该系统;好的激励机制督促评审人做出公开的、及时的、高质量的学术评价,因此产生好的预印本系统公开学术评议氛围,进而形成良性循环的学术评议生态环境。

2.2 论文评分模型

论文评分模型对提交预印本平台的论文内容进行实质性审查,根据读者在线发布对论文的定性與定量相结合的评价,对论文进行评分定级,实现预印本论文的质量控制。论文评分模型结合互联网时代线上评分的模式和方法,在传统同行评议的基础上进行扩展,开发出一种新型的自组织论文评议模式。

2.2.1 理论基础

传统期刊论文采用的是通信同行评议模式,它的基本过程是期刊编辑在收到论文投稿后进行形式审查,将通过审查的稿件分别寄送给几位同行评议人,要他们对其评审的论文稿件做出书面评语并打分,结果在规定时间内寄送回编辑部。同行评议是从事某一或者若干领域科学研究的科学家组成的科学群体对涉及该领域的某项知识产品进行评价的过程。从政策科学的角度看,同行评议是帮助决策民主化的方式,它可以使决策过程具有可观察性并提高决策过程的参与度和集体智慧的运用。因此同行评议极大减少了决策层在科研资助和论文发表时的主观因素,增加了决策民主化的成分。从科学社会学的角度来看,同行评议是科学共同体根据某一标准对事物进行评价。科学共同体是由从事某一特定领域科学研究的科学家组成的社会群体,他们在长期的科研工作中确定并接受可一种范式作为该领域的理论体系。在同行评议中这种范式作为评议的标准,评议专家也就是科学共同体的成员运用这个标准去评价该领域的新发现和新理论。在评价过程中科学家的个人信仰和阅历,以及一些其他社会因素也会影响所评价的对象。同行评议将这些共同范式和个人准则结合起来,形成一种综合的科学的评价方法[18]。

同行评议从政策科学角度和科学社会学角度上看,都是一种科学的学术评价模式。但是在线科研日益成为科研工作的主流形式,具有交流效率高、速度快、智能化、民主化等众多优势[19]。传统的同行评议机制固有的缺陷不能满足以预印本系统为代表的在线科研的需求。本文提出的在线论文评分模型是一种自组织同行评议机制。从本质上看它并不是颠覆传统的同行评议,而是结合新型的在线评分模式和方法对传统同行评议的改进,使其扬长避短,与时俱进,适应新技术背景下的学术评价需求。

网络评分是互联网平台建设初期出现的一种信用担保方式。早在1997年,美国电子商务网站eBay就建立了信用评分机制,藉此刺激、调动买家的网购信心[20]。“美国市场研究公司Jupiter Re-search的调查数据显示:77%的网民购买商品之前,都会参考其他网民的在线评价”。评分机制的建立证明了信息的商业价值,被广泛应用在电影、书籍、音乐评价中,逐渐扩展到餐饮和购物的消费活动中。网络评分支持细粒度的评价来代替简单褒贬性的二元评价,相比于褒贬评价机制( PolarityAnalysis),等级评分机制(Rating Inference)能够从更加具体和准确的角度体现用户倾向性观点,等级评分机制一般采用5或10分制等级评分机制[21]。实际调查时大多数用户认为仅通过给定问题的打分不能准确表达自己的观点,具体表达自身观点还需要进行文字性评论。因此科学的评分机制可采用定性定量相结合的方式对进行在线评分。同时网络用户往往对评价对象的多个维度进行评论,不同维度之间可能存在的相关性能够训练优化多维度等级评分模型,有助于提高其预测性能。

传统同行评议的科学性结合网络评分的灵活性,可以使新型的在线自组织同行评议模式在学术评价的过程中更加公正和有效,发挥出更大的权威性。

2.2.2 在线论文评分模型的原则

在线论文评分模型的理论来源是同行评议机制,参考同行评议机制的基本原理设置在线论文评分模型的原则。与此同时在线论文评分模型是对同行评议机制的改进,在设计评分模型的原则时应当改进传统同行评议机制的弊端,使评分模型更加科学和有效。具体遵循的原则如下:

1)科学性

同行评议机制的科学性在于它是一种民主的决策,且综合接受了来自科学共同体这一专业全体的意见,因此保证学术评价的科学性是评议结果权威性的基础和保证。在线论文评分模型的科学性应当体现在评议者的结构上,应当包含专家评审人和普通读者评审人。这样从决策科学和社会科学两个理论层面保证了在线论文评分模型的科学性。

2)公正性

论文评议是应当保证评议人的客观和独立性,对评议结果而言应当只有论文本身的学术质量这唯一的影响因素。评议人的态度和观点不应受到被评议人的身份、地位以及与评议人的关系的社会关系因素的影响。就客观性而言,被评议人的身份在评议的关键阶段应当被隐去;就独立性而言,评议人的身份在评议的关键阶段应当被隐去,使得评议人可以没有顾虑的评判。

3)有效性

由于传统同行评级机制缺乏有效的激励和监督机制,导致评议专家返回的评议意见往往是形形色色,参差不齐的。而有效的评价应当具有鲜明的观点,意见具体而有针对性,明确指出论文的优势和缺陷。有效的评价对论文的作者和其他读者都具有重要的参考价值。关于激励机制在下文进一步讨论,关于监督机制的一个有效的方式是在论文评议的关键阶段结束后公开评议人的身份,使其对自己的评议内容负责。通过这种方式对评议人形成监督压力,一定程度确保评议的有效性。

4)准确性

评议的目的就是选出好的论文,评议的准确性应当是一条重要的原则。如何精确地体现出评议人的意见成为实施这条原则的关键。定量的评价可以“精确”地展示评议人对论文的评价,但是参考2.2.1所分析的内容,一部分网络用户在进行评价时认为文字性评论更能够准确表达自身的具体观点,因此可以采用定性定量相结合的方式进行在线的论文评价。

5)透明化

在背景分析中提到,传统同行评议机制存在缺陷的重要原因是公开性问题,由于专家评审意见不对作者公开,导致评价结果缺乏监督、专家信息无法共享、不良专家无法规避、被评议人无法申辩等一系列问题无法解决。在基于在线评分的预印本系统中,对评议的过程和评议结果进行公开化、透明化处理,在很小的成本下就可以解决上述问题。

2.2.3 在线论文评分方法

基于以上5项原则,对预印本系统中自组织同行评议的在线论文评分方法进行设计,充分保证论文评议过程中的客观公正以及论文评议后的实用和有效。

1)专家评议与普通评议相结合

以科学性原则为依据,在线论文评分体系的评议人团队应当由专家和系统普通读者用户共同构成,保证评分的专业性和民主。其中专家评议人与普通评议人的比例,以及两者的评议结果在论文总评分中所占的比例应当进行充分地调研和论证。

2)定性评价与定量评价相结合

以准确性原则为依据,在线论文评分体系应当提供定量评价和定性评价两个渠道,线上评议人可以选择其中一种进行评价或者综合两种方式。通过情感分析的方法从定性评议结果自由文本中自动挖掘评议人观点,形成定量的等级评分,王会珍[32]提出了基于内容的等级评分模型。综合定性和定量的评价核算论文的等级。

改进的内容等级评分模型的评分过程如下:首先定义一个序列((x1,y1),…,(xt,yt),…),其中xi表示一个特征向量,对应一个文本性质的评论称作对象;yt表示评分制Y中的一个等级分数,Y={1,2,…,K}。接下来学习排序规则日,它是一个映射函数,从对象映射到等级评分,即H:X→Y。在定性定量相结合的评价模型中:如果是定量评论,则排序规则日可用评价结果直接表示:如果是定性评价,排序规则日需要重新定义,公式如下:

3)评审过程分阶段

综合考虑公正性原则和透明化原则,论文的评议应当分为关键阶段及之后两个环节。在论文评议的关键阶段,需要对评议人和被评议人的身份进行匿名处理,确保评议人在这一阶段具有充足的空间做出客观的、独立的评价。在关键阶段结束后,对评议结果进行核算,计算出论文的最终等级并对优秀论文颁发证书。此后该论文进入公开论文阶段,将针对该论文进行的全部评论实名展示在评论区,供该论文的全部读者公开参考和监督。这种双盲评议与公开评议相结合的方式能够有效地弥补传统同行评议在实施过程中面临的矛盾和困境,弥补传统同行评议机制的不足,而在线论文评分模式能够在两种评议模式之间灵活切换得益于在线科研背景下预印本系统的技术优势,使得这种切换不仅没有高昂的成本,而且能够确保读者试试获取评论内容。

2.3 用户激励机制

用户激励机制是预印本系统同行评议模式运行的动力,通过设置激励机制能够充分调动系统用户(包括作者和读者双方)的积极性,参与到及时、公正的互相评议中,保证用户评议的速度和质量,进一步实现对预印本系统中论文的质量控制。为了设计一套科学、有效的激励机制,需要从理论基础、用户参与动机分析以及激励方式几个角度展开论述。

2.3.1 理论基础

设计用户激励机制的重要理论基础是激励理论。激励理论的目的是研究如何调动人的积极性,按照研究层面不同,激励理论可以分为内容型激励理论、过程型激励理论、行为后果理论和综合刺激理论[22]。内容型激励理论致力于找出促使研究对象积极工作的具体因素,即研究人的需要以及如何满足人的需要,故称为需要理论,代表学派有马斯洛需要层次理论、赫兹伯格双因素理论、阿尔德夫的ERG理论和麦克莱兰的成就需要理论,其中最有代表性的是马斯洛的需要层次理论。

预印本系统面向广大的科研工作者和科研机构的管理者,想要吸引广大的用户参与到预印本系统的使用和建设中来,就需要了解知识背景下学术界用户的参与动机。用户在预印本系统中投入时间和精力,就渴望获得与其投入相匹配回报,这种公平感是用户对自我资源的投入和收益对比之后,在内心产生的一种主观感受。因此出于这种公平感的追求,用户在参与预印本系统的上传论文和评论社区时产生一种参与动机,进一步在激励机制的驱使下将这种动机转化为具体的参与行为,从而不断增强用户的依赖感和忠诚度[23]。因此本文借鑒内容型激励理论,根据需要层次理论分析用户的需求和参与动机,从而实现对预印本系统用户的激励作用。

2.3.2 用户参与动机分析

预印本系统用户激励机制的目的通过合理的激励方式调动科研工作者的积极性,参与预印本系统的论文提交和评论中,作者向预印本系统积极的提交最新的研究成果,读者在系统中做出高质量及时的学术评价。在预印本系统的运行架构中,可以看出激励机制的主体是预印本系统,客体包括论文作者和论文读者,因此激励机制的模型如下:

I→Max(U(PS),U(W,R)) (2)

其中,表示激励机制Incentive.PS表示预印本系统Preprint System,W表示论文作者Writer,R表示论文读者。U表示发挥出参与主体的效用。

预印本系统没有的到科研工作者广泛认可的主要有以下原因:

一方面学者发布的包括论文在内的各类各项学术成果,渴望得到同领域研究者或整个学术界的认可。在学术成果中凝结了作者的大量的时间、经济、精力和智力成本,因此渴望得到相应的回报,或经济回报或认可度与知名度的回报。没有适当的回报,作者没有兴趣在预印本系统中中长期保持积极状态。

另一方面,读者使用预印本系统渴望在其中捕捉学术研究最前沿的方向,阅读最新的高质量、高水平的文章。然而大部分读者不愿参与到论文评价中,一是需要付出时间成本但没有得到相应的回报;二是受人际关系等影响,担心评价后自己的身份信息泄露。这成为限制读者参与论文评论的主要原因。

基于上述原因的分析,可以讨论预印本系统用户具有以下的特性:

1)个体理性:用户渴望将论文发布到预印本系统相对于发布在传统期刊付出更小的成本但收获不低于传统期刊的学术认可与回报。

2)不确定性:评议者给出的评价水平与其认知能力有关,无监督的情况下评价结果受其主观感受的影响。

3)社会属性:评议者作为社会人,从事的活动受到其社会关系的影响,在信息不对称的条件下可能发生滥用稿件筛选权力的情况。

对主体行为作出基本假定后,预印本平台可以通过有效的激励机制,保障论文作者和读者的权利和义务对等,激励用户在预印本平台提交论文并积极参与评议,在确保作者用户和读者用户的利益最大化同时,使得预印本平台达到效用最大化。

2.3.3 激励方式

在不同的情况下存在不同的激励方式,达到的激励作用也不尽相同。常见的激励方式包括报酬支付激励( Monetary Reward Incentive)、娱乐游戏激励( Entertainment&Gamification Incentive)、社交关系激励( Social Relation Incentive)、虚拟积分激励( Virtual Credit Incentive)和混合方式激励[24]。

报酬支付激励( Monetary Reward Incentive)主要依据拍卖模型,以微支付的方式向赢标者支付报酬,回报参与者做出的贡献,激励更多的用户参与完成系统发布的任务。这种激励机制适合竞标赛类型的系统任务,例如科学工作者竞争科研资助项目时使用。娱乐游戏激励( Entertainment&Camifica-tion Incentive)是指安排激励对象参与游戏,通过设置游戏等级排名、游戏人物、虚拟积分和趣味性激励参与者。鉴于预印本系统的用户为科研工作者,除去繁重的科研任务还需要承担大量非学术性工作,游戏激励的方式耗费较多的时间和精力,不适合本情景。社交关系激励( Social Relation Incen-tive)是指促进激励对象形成社交网络来激励其在系统任务中的参与积极性。线上社交是线下真实世界社交关系的延伸,而在真实世界中系统参与者是充分关注自身社会地位、个人成就和行业认可的,因此可以利用激励对象在社交网络中的相互影响,调动起积极性和主動性。在本文中可以借鉴这种激励方式来提高读者提交评论的质量。虚拟积分激励( Virtual C redit Incentive)是指让激励对象通过不断赚取激励积分换取其他奖励,从而达到激励目的。它不是直接支付报酬,在积累积分的过程中激励对象往往获得心理满足,有实现自我价值的荣誉感,从而实现对激励对象的引导和激励,增加用户粘性。虚拟积分机制具有较强的灵活性,可以根据预印本系统用户的参与动机灵活设置积分项。同时结合社会关系激励方式,能够达到预印本系统激励机制的预期。

3 基于虚拟积分的激励机制设计

积分概念产生于高等数学领域,现已扩展成为一种有效的管理手段。系统设计一套积分体系用于记录和展示参与者对系统活动的参与程度和系统任务的完成情况。在本文提出的预印本网站的自组织同行评议模式中,积分体系用来衡量系统用户(包括作者和读者)的贡献,在一定程度上可以反映用户在相关研究领域的学术成就和地位。积分体系同时与用户等级和物质报酬对应,能够充分激励用户积极性。李青通过对移动学习领域积分机制的研究发现,可以将积分分成有价积分和经验积分两类。前者是指积分的可消费性,有价积分随着消耗减少;后者代表用户的成长过程,是用户的参与度与贡献量的直接体现[25]。搭建一个积分激励体系一般由三部分组成:积分项目设计、积分总量计算和等级系数折算[26]。

3.1 积分项目设计

积分项目设计是积分激励机制设计中明确积分来源的关键,是积分体系设计的难点,应当遵循以下原则:1)以贡献为导向原则;2)合理有效且具有代表性原则;3)全面评价原则。“以贡献为导向原则”就是说所有最终纳入到体系中的积分项必须是能够促进预印本平台效用最大化的关键指标,必须是能够体现用户行为贡献的核心指标。“合理有效且具有代表性原则”是指积分项应当能充分体现预印本用户的主体参与活动与预印本平台发展诉求之间的紧耦合关系,是具有广泛代表性的用户贡献。“全面评价原则”是指积分项应当涵盖用户对预印本平台贡献的全部内容,综合体现用户的参与程度,充分调动用户的主观能动性。

预印本系统的注册用户在系统中具有双重身份,在提交论文时为作者,在下载、阅读和评论时为读者。因此考量用户的贡献也应当从这两个角度出发,分别设计积分项。作者贡献又可分为论文提交量和论文等级两个维度:论文的提交量越多,表明用户从事科研的积极性越高,且对预印本系统的信任和依赖性越强;论文等级是对论文质量的考核,从前面讨论的论文评分模型中获取,论文等级越高表明作者的科研水平越高。读者的贡献也可以从评论数量和评论质量两个维度考量:读者发表的评论越多表明在花费了较多的时间和精力参与预印本平台的使用和维护;评论质量可以表明读者在发表评论时的态度和在相关领域的认知能力和水平,具体的积分项设计如图5所示。

读者的评论质量下进一步设计5个二级积分项,分别是评论字数、反馈条数、反馈字数、评论意见采纳度和评论结果准确度,如图6所示。评论字数、是否追评、追评条数和字数都可以体现读者的工作量和评议态度。评论意见采纳度指作者是否采纳读者的评论意见或是否申辩,该积分项可以刻画读者评价的有效性,对作者是否具有参考价值。评议结果准确度根据单个作者的评分和定级,在论文评议关键阶段结束后定级是否一致,该积分项可以考察评议者的专业性和认知水平。

3.2 积分总量计算

积分总量应当按照上一日的积分总量以及当日提交的论文和评论总量进行核算。计算该积分总量的目的是使用户积分与预印本系统的发展水平紧密挂钩,计算公式如下:

3.3 等级系数折算

等级系数折算主要用于依据积分对用户的等级进行调整,识别预印本系统中的专家用户和普通用户,对于用户的参与行为和主观能动性具有很大的激励作用。主要的思路是按照用户的表现进行评分,然后将该等级评估分值与最低等级评估分值之比作为等级系数。在宏观上将用户等级划分为专家和普通。普通用户又可以划分为活跃、积极和潜水来映射用户的参与程度,对普通用户等级的评定从作者角度和读者角度设置了两条积分下限,综合考量普通用户的系统行为,全面激励普通用户在系统的参与活动。专家用户分为3类,基础的科研专家、评论专家,以及综合的高级专家。这是考虑到用户使用预印本系统的目的不同,部分科研工作者将预印本系统作为快速论文发布平台,在相关研究领域占据首发权,因此作者积分很高,但是一些尖端的学者可能没有过多的精力投入到系统的评论工作中,将这类专家划定为科研专家,主要设置作者积分下限。另外一类用户主要使用预印本平台进行文献和数据的采集,他们与系统的交互过程主要以读者的身份进行,在论文的评论中承担大量的工作,但是他们不一定在预印本系统中发表了很多论文,这部分用户划定为评论专家,只要设置读者积分下限。还有一类用户,他们综合能力很强,在专业领域的科研工作能力和认知评议水平都很高,这类用户被划定为高级专家,同时设置作者和读者积分下限。等级折算表如表5所示,通过核算出的等级系数可以发现,专家和普通用户在积分上具有一定鸿沟,若想从普通用户升级为专家用户需要经过长期的积累,还要具备较高的学术素养。因此这一套积分等级管理体积具有较强的激励效力,能够充分促进用户的主观能动性。

4 结论与展望

随着技术的发展,在线科研逐渐成为科研人员开展科研工作的主流形式,推动着学术交流和出版的改进和变革。预印本凭借交流速度快、利于学术争鸣、可靠性高等特点,逐渐走进科研人员的视野,这种以学界自治为基础的学术交流模式正在快速发展。虽然预印本系统可以弥补传统出版模式存在的论文发布周期长、很少免费向公众提供服务等缺陷,但是传统期刊出版模式采用的同行评议制度存在评审过程不够透明、评议结果不够公正、对评议者缺乏激励的问题尚未解决。本文在王凌峰提出的自组织同行评议模式基础上,详细的设计了在线论文评分模型和虚拟积分激励机制,改进传统同行评议在评议模式、公开程度、评议专家激励方面存在的缺陷。相对于传统同行评议模式,应用于预印本平台的自组织同行评议模式具有以下优势:

1)评议结果更加客观公正

在线的论文评分模型通过论文分阶段评审,在关键阶段采取双盲评议,关键阶段后将作者和评议人的身份公开,这种方式能够充分保证评议人在评审过程中做出客观公正的决策,在评议后的公开机制又能确保评议人对发布的评论负责,因此保证评论质量。

2)评议过程更加公开透明

在评议的全过程中,评议人的评论都在线评论并将评论结果上传到论文的评论区,包括作者在内的全部读者都可以实时查看读者的评论(尽管论文关键评议阶段这些评论是匿名的,但是不影响评论本身的参考价值)。这种公开透明的评议模式可以充分保证论文评议有依据、可申辩,弥补了传统评议模式由于信息不对称导致作者和编辑、评议专家之间的信息鸿沟。

3)对评议人实施激励监督

基于虚拟积分的激励机制一方面对系统用户进行激励,发挥预印本系统中用户参与的积极性;另一方面对评议人进行反评估,用户的积分和等级一定程度反映用户作为评议人的能力和水平,帮助系统辨识评议专家,实现了對预印本系统评议人的激励与监督。

在线论文评分模型和虚拟积分激励机制两个制度相互依靠,相互促进,充分调动用户的积极性并实现对论文内容的实质性审查和质量控制,为预印本平台健康、稳定的运行提供动力和保证。本文在自组织同行评议模式基础上提出的这两套辅助机制更好地完善了同行评议机制,为开放科研环境下预印本系统的质量控制提供重要参考,是对新学术评价模式的重要补充,具有较大的应用价值。由于篇幅的限制,本文对于评分模型中用户评分的不一致性处理方式,还有激励机制的积分转化模式未做详细的讨论,这将是本文的后续研究工作。

参考文献

[1] Ginsparg P.It Was Twentv Years Ago Today [EB/OL]. https://arxiv.org/ abs/1 108.2700,

2019-03-30.

[2]方向明,董文鸳,国内外著名学科预印本系统评析[J].农业图书情报学刊,2008,(1):96-98.

[3]张智雄,黄金霞,王颖,等.国际预印本平台的主要发展态势研究[J].数字图书馆论坛,2017,(10):2-7.

[4] Boldt A.Extending ArXiv. org to Achieve Open Peer Review andPublishing[J]. Journal of Scholarly Publishing, 2011, 42 (2):238-242.

[5]王凌峰,孙英潮.E-prints预印本数据库的自组织同行评议模式设计[J].现代情报,2016,36 (5):9-15.

[6]丁筠,预印本网站的兴起给学术期刊带来的启示[J].编辑学报,2018, 30 (2): 145-147.

[7] Wamer S.Open Archives Initiative Protocol Development and Im-plementation at arXiv[J].arXiv Preprint cs/0101027, 2001.

[8] Cordon G.SSRNThe Leading Social Science and Humanities Re-pository and Online Community - joins Elsevier[ EB/OL].ht-tps: //www.elsevier. com/connecU ssm - the - leading - social - sci-ence-and- humanities - repository - and - online - community -joins -elsevier。2019-03-30.

[9] Callaway E.BioRxiv Preprint Server Gets Cash Boost from ChanZuckerherg Initiative[ EB/OL]. https://www. nature. com/news/biorxiv-preprint-server-gets- cash -boost -from - chan -zuckerberg-initiative- 1.21894.

2019-03- 30.

[10] ACS. ChemRxivTM Beta Open for Submissions and Powered ByFigshare[ EB/OL]. https://www. acs. org/content/acs/en/press-room/newsreleases/2017/august/chemrxiv-beta-open -for- submis-sions-and-powered-by-figshare.html, 2019-03-30.

[11] Eysenbach G.The Impact of Preprint Servers and Electronic Pub-lishing on Biomedical Research[J]Current Opinion in Immunol-ogy, 2000,( 12): 499-503.

[12] Warr W A.Evaluation of an Experimemal Chemistry PreprimServer[J]. Journal of Chemical In~ormation and Computer Sci-ences, 2003, 43 (2): 362-373.

[13]國家自然科学基金项目管理规定(试行)[J].中国科学基金,2003, (3):62-64.

[14]陈进寿,从人际关系谈同行评议制的改进[J].中国科学基金,2002, (3):56-58.

[15]郭碧坚,韩宇,赵艳梅,同行评议中的“名人效应”[J].科技导报,1994. (7):47-49.

[16] Sruith R Peer Review:A Flawed Process at the Hean of Scienceand Joumals[ J]. Joumal of the Royal Society of Medicine,2006. 99 (4):178-182.

[17]侯志江.arXiv预印本服务研究及启示[J].图书馆工作与研究,2019,(2):47-54.

[18]郭碧坚,韩宇,同行评议制一一方法、理论、功能、指标[J].科学学研究,1994, (3):63-73,2.

[19]邱均平,余厚强.替代计量学的提出过程与研究进展[J].图书情报工作,2013, 57 (19):5-12.

[20]胡侠.C2C电子商务信用评价方法探析——对比Ehay与淘宝[J].大众标准化,2010. (1):35-39.

[21]王会珍,朱靖波.多维度等级评分模型优化技术[J].软件学报,2013, 24(7):1545-1556.

[22]郭惠容.激励理论综述[J]企业经济,2001,(6):32-34.

[23]黄敏,都平平.Lib2.O用户参与激励机制初探[J].国家图书馆学刊,2010, 19(2):60-65.

[24]吴垚,曾菊儒,彭辉,等.群智感知激励机制研究综述[J].软件学报,2016, 27(8):2025-2047.

[25]李青,李莹莹,移动学习应用中积分激励机制设计[J].北京邮电大学学报:社会科学版,2018, 20 (3):104-112.

[26]杭晨捷,孙旭.积分管理在人才激励应用中的研究与分析[J].中国人力资源开发,2015, (2):38-47.

(责任编辑:孙国雷)

收稿日期:2019-08-15

基金项目:国家社会科学基金后期资助项目“面向国家安全的情报研究”(项目编号:18FTQ005);国家社会科学基金青年项目“意义构建视野下安全情报的弱信号研究”(项目编号:15CTQ032)。

作者简介:石进(1976-),男,副教授,博士,研究方向:情报学、大数据分析。苗杰(1995 -),女,硕士研究生,研究方向:竞争情报与大数据分析。李明(1970-),女,副教授,博士,研究方向:学术评价与科学计量。

猜你喜欢

激励机制
健全少先队激励机制 助推队员们幸福成长
湿地恢复激励机制的国际立法及启示
激励机制助推节能减排
完善党校党建工作激励机制研究
山西票号的激励机制及其现代启示
激励机制在推拿手法学教学中的应用