APP下载

学术论文质量的大众评价探索

2017-02-27王旖旎郑彦宁

现代情报 2017年1期
关键词:质量评价学术论文

王旖旎+郑彦宁

〔摘要〕现有的学术论文评价方法主要采用发文期刊的影响因子、发表后的被引用次数等作为评价指标,无法全面展现学术论文的内容价值。文章在系统分析论文评价方法特点与不足的基础上,以Bates的Berrypicking模型为理论基础,提出了以学术大众为主体开展论文质量评价的思路。通过分析大众评价的可行性,构建出学术论文大众评价的指标体系,并对论文评级、价值类型、专家意见、大众评语等大众指标和权威指标的内涵进行了解释。

〔关键词〕论文评价;学术论文;质量评价;大众评价

DOI:10.3969/j.issn.1008-0821.2017.01.004

〔中图分类号〕G322〔文献标识码〕A〔文章编号〕1008-0821(2017)01-0020-05

〔Abstract〕Existing academic papers evaluation methods mainly use the Journal Impact Factor or the number of citations as evaluation index,which can not demonstrate the value of academic papers content in a comprehensive way.Based on a systematic analysis of the characteristics and shortcomings of existing academic papers evaluation,this paper put forward a method of public evaluation by most of scientific researchers,which has a theoretical basis named berrypicking model by Bates.Through the analysis of the feasibility of public evaluation,the structure of index system of the public evaluation of academic papers was discussed,the meaning of specific indexes such as paper rating,the type of papers value,the expert opinions,public comments and other authoritative indexes were explained as well.

〔Key words〕papers evaluation;academic papers;quality evaluation;public evaluation

目前我国对学术论文的评价主要采用文献计量等方法,从论文被引用次数、期刊影响因子等外部特征指标对论文进行评价,反而缺少对论文深层价值的评价和探讨。导致这一现象的原因在于,学术论文是围绕客观现象形成的个人主观论述,隐性知识属性比较突出,仁者见仁智者见智,难以一概而论。加之论文本身几乎不存在可直接用于价值评估的量化指标,导致学术论文深层价值的评价工作往往收效甚微。因此,在评价论文价值过程中,更加倾向于使用客观易行的外部特征。近年来,随着科学出版由原来单一的纸质出版模式向多渠道、多维度的网络出版模式转变,学术用户间的时空隔阂被打破,学术论文的获取也变得唾手可得。在这种新环境和新形势下,学术论文质量评价迎来了新的发展机遇。

1学术论文评价方法

1.1论文评价方法类型

学术论文是科研成果的主要形式之一,是衡量科研人员科研水平、科研项目成果价值、科技期刊总体水平的重要参考。在长期的论文评价实践中,为了使学术论文评价的结果更为可靠,学术界早已形成一些基本共识:论文评价要重实绩而非头衔;重质量而非数量[1];减少期刊等级的影响力度[2];考虑建立平衡不同学科学术评价的指标体系[3];考虑开放存取环境下的论文评价标准[4]等。根据评价方法和手段的不同,学术论文评价方法及指标可以划分为“以刊评文”、“以引评文”、“以人评文”、“以网评文”4大类。

在“以刊评文”的方法中,主要采用期刊影响因子(JIF)作为评价指标。期刊影响因子是由美国科学信息研究所(ISI)在20世纪60年代提出的计量工具。多年来,期刊影响因子一直是衡量学术期刊质量的最有效指标[5]。期刊影响因子高意味着期刊所载论文平均质量比较好,其学术价值比较高。

在“以引评文”的方法中,具有代表性的方法及指标有引文分析法[6]、引荐分析法[7]、h指数[8]、g指数[9]等。这类方法指标是基于论文被引情况进行计量的,一般情况下论文的被引量高说明其学术价值得到许多科研人员的认可。

在“以人评文”的方法中,“人”主要是指具体学科领域有所建树的专家,主要形式有同行评议、专家评审等。比较典型的有F1000(Faculty of 1000 Medicine)同行评议数据库[10],该库通过世界上5 000多位生命医学领域重要专家的评价和推荐,对该领域学术论文的学术成就进行客观评估和分类,以便研究者轻松掌握学科研究进展。

在“以网评文”的方法中,典型代表有近十年来兴起的Altmetrics计量方法[11]。Altmetrics方法通过获取社交网络中有关学术内容的下载量、评论数、转发数、点赞数、推荐数等数据,分析學术论文及相关内容特定时段的学术影响力。此外,David Shotton[12]以网络出版环境为背景,提出了一种针对在线出版论文的五星论文评价模型(The Five Stars of Online Journal Articles)。该模型从同行评议水平、开放获取程度、电子内容完善程度、数据集可用性、元数据机读性建立了5个评价维度,采取量表方式对各维度进行打分,以此对在线出版论文进行评价。

1.2论文评价方法评析

随着论文评价活动的开展,这4大类评价方法得到了深入的研究和广泛的应用。但在学术论文的实际评价过程中,它们在不同程度上仍暴露出一些问题和不足:

1.2.1间接评价揭示深度有限

“以刊评文”、“以引评文”的方法是通过测度论文发表产生的后续影响,来替代对论文内容价值的直接评估。主要采用被引次数、刊载期刊的影响因子等外部特征作为论文价值的表征。这两种方法是基于数据分析的客观评价方法,无法反映出一篇论文对其他学者及其论文成果的主观影响。并且,一旦一篇高质量论文的高被引次数拔高了一本普通期刊的影响因子时,利用影响因子对该期刊其他论文进行质量评价就会失当;当出现为了引用而引用的自引和“同刊互引”现象时,论文的被引次数也无法有效反映出论文的真实水平。

1.2.2評价效果受限于评价主体

“以人评文”的方法是对论文内容的学术成就进行主观评价的尝试,但其评价主体仅为特定的专家团体,评价效果受限于参评专家的数量和水平,存在评价过程透明度低、评价结果可操作性大的潜在问题。同时,同行评议也存在“马太效应”,即年轻学者因知名度不高而很难成为评议专家[13],可能会出现用老观念评价新文章、影响学术创新的情况。

1.2.3网络评价不稳定因素较多

“以网评文”的方法在采用客观指标进行计量分析的基础上,将互联网社交网络的相关数据以及元数据信息引入到计量分析中,丰富了评价数据的类型和来源。这一方法的进步意义在于:一是它扩大了评价主体的范围,肯定了数量庞大的互联网用户参与到学术论文评价活动中的价值;二是减弱了学术论文从发表到第一次被引用期间的价值迟滞。然而,“以网评文”存在着参与评价的部分互联网用户学术素养不高的隐忧,其评论、推荐、转发、点赞等数据极易受到舆论等外部环境的影响,造成学术论文计量分析结果的波动,无法准确反映出一篇论文的真实价值[14]。

综上分析,客观的学术论文评价方法主要采用论文发表期刊的水平、发表后的引用次数等作为指标,无法全面展现学术论文的价值。在主观的评价方法中,论文评价主体限定不够合理,或为学界专家精英,范围过于狭小,或为互联网用户,范围过于宽广。总体而言,目前尚未形成一种完善的、具有普遍意义的论文内容评价方法和体系。

因此,本文提出“大众评价”的论文评价思路,将评价主体界定为“学术大众”。“学术大众”是指来自于各个学科领域的学术研究人员,而非广义上的社会大众。考虑到论文评价所需的专业素养和知识背景,社会大众对于基础科学研究和前沿科学探索不一定具备基础的知识储备,让其对学术论文进行评价是不具备可操作性和实际意义的。通常情况下,学术研究人员具备专业的知识结构,对其所处领域研究发展有一定程度的认识,针对学术问题能够通过学习和思考提出个人的见解,此为学术论文大众评价的重要前提。在此基础上,再结合已有的论文评价指标,对网络化出版环境下论文质量评价的方法和体系进行探索,以期补充和完善现有的学术论文评价方法。

2大众评价的理论基础

Marcia J.Bates[15]于1989年提出了“Berrypicking Model”(浆果采摘模型,如图1),用以描述网络用户的信息搜集及获取行为。Bates指出,在信息搜寻过程中,用户不同于传统模型所描述的——遵循单一不变的问题需求进行搜索,而是从某一话题的一个简单初始特征开始,在与不同的信息接触过程中受到反馈和启发而产生新的搜索目的和方向,进而发现一系列有用的信息和证据。在搜索过程中,搜索目的就像待采摘的浆果,分布在不同地方,吸引着用户的目光,改变着用户的搜索路径以及在此过程中可能会触发的信息事件。Bates提出的Berrypicking模型不同于传统信息搜寻模型的关键在于,它看到了用户搜索需求的动态变化,重视搜索过程中信息的积累和反馈,以及用户想法(Thought)对搜索过程的“进化”影响和搜索结果的决定作用。

Berrypicking模型可以用于描述学术研究者的文献阅读及论文评价行为。在此模型中,每一篇论文构成一个独立的单元,论文评价体现在单元联系的构建过程中。学术研究者在围绕特定主题查找并阅读相关文献时,一般会从一篇具体论文入手,基于阅读感受形成一定的评价(即Thought),通过参考文献、引证文献、相似文献或相关文献等路径,进行下一阶段的论文阅读和价值判断,最终形成一条独特的有向知识路径(如图2)。在这一路径中,体现出了不同论文内容价值的关联关系,包含了多重信息和重要价值:从论文起点到终点记录着学术研究者论文阅读收获的变化;从阅读过程的递进关系可以反映出上一篇论文对学术研究者下一篇论文选择的启发和作用;串联前后论文的评价(即Thought)包含了学术研究者与论文内容互动时产生的稍纵即逝的隐性知识——这也正是学术论文内容价值最为本质的体现。

从Berrypicking式的论文评价过程中可以看出,学术研究者进行论文评价是具有可行性和实践基础的。首先,论文评价往往基于对论文内容的阅读,而论文阅读在学术研究者的学术研究活动中是不可缺少的。学术研究者对于阅读过的学术论文,通常都会形成一定的价值判断并得出相应的结论。其次,在学术研究过程中,学术研究者对论文内容价值的评判(即Thought)成为推动学术论文活动进一步发展的主导因素。从这个角度看来,由学术研究者组成的学术大众进行学术论文评价,在理论上是可以成立的。

3学术论文大众评价指标体系

3.1大众评价的应用分析

大众评价在互联网社区中得到了广泛的应用,具有良好的用户基础,并形成了比较成熟的评价模式。以“豆瓣读书”(book.douban.com)为例,豆瓣读书是目前国内较为成熟、颇具影响力的社会化阅读平台,是一个以图书为中心发展起来的互联网社区。从大众评价角度看,豆瓣读书评价的对象是图书,主体是广泛的读者用户,采用的评价方式具有主观性、开放性的特点,具体指标如表1所示。

1)豆瓣评分。在豆瓣读书中,图书评价使用的是直观动态的豆瓣评分。该评分等级从一星到五星,分别代表着该图书很差、较差、还行、推荐、力荐的五种读者阅读评价。系统根据用户给出的评分计算出图书的总体评分,并展示出不同等级的评分人数。评分对于图书本身、作者、出版方、读者等不同的群体均有较大的影响。

2)图书标签。豆瓣读书以标签的形式揭示出了用户对图书特征的定义。豆瓣图书的图书标签由用户和系统进行共同标引,标引的标准是多样的。系统推荐的标签具有一定引导作用,用户在此基础上以图书的题名、作者等外部特征,或内容题材等内容特征,以及依据用户需求产生的标签进行标引。因此,按照图书不同的标签可以就对图书进行分类浏览。

3)热门评论。在豆瓣读书中,读者可以就一本书撰写不超过350字的短评、字数不受限制的长评或针对特定页或章节不限字数的读书笔记。公开评论中,被更多用户认为“有用”的短评及书评会进入“热门”评论。由此,好的评论会带动更多用户参与到图书的阅读和评价中,将大众评价的效果放大。

4)最新评论。豆瓣读书将用户的评论按时间顺序进行显示,最新发表的短评、书评会在页面中有所显示。大众评价往往数量极多,为了公正客观地展示广大评价者的评语意见,最新评论的方式便成为一种比较合理的选择。

通过对豆瓣读书具体评价指标的分析,可以看到:豆瓣读书立足于用户大众对图书的评价,注重读者评价意见的反馈,其大众评价模式体现出公开平等、互动性强、实时性高的特点。同时也印证了,“大众评价”作为一种开放式、多用户参与的评价方法,其评价方式的实用效果得到了体现。可以看到,大众评价能够在很大程度上激发评价者的自主性和参与积极性,使评价结果具有更高的可信度。因此,本文尝试将之运用到学术论文的质量评价中。

3.2学术论文大众评价的特点

3.2.1与豆瓣图书评价模式的异同

学术论文大众评价与豆瓣图书的大众评价具有一定的相似性和差异性。相似的是,学术论文大众评价邀请更多的评价主体参与其中,以反映出评价结果的真实性和有效性;与之不同的是,学术论文的大众评价会对评价主体做出限制,并非所有的社会大众,而是与学术论文息息相关的学术圈工作者。

3.2.2与传统论文评价方法的关联

学术论文的大众评价与目前所使用的论文评价方法相比,是相互联系又各有区别的。

首先在形式上。传统评价方式是权威性、集权式的,评价权利由少数机构和组织持有;“大众评价”的新意在于评价主体的扩大化、评价方式的开放性——从事学术研究的研究人员对已发表的学术论文质量都有发言权,其个人评价会对总评价构成一定贡献。

其次在内容上。传统评价方式多倾向于关注可用于定量分析的数据,对于内容研究持保留态度;“大众评价”的重点在于定量和定性评价指标的相互结合。

再次在指标上。传统评价方式通过使用被引用次数、期刊影響因子等外部指标来完善论文评价体系;“大众评价”则是以论文评分、大众评价等大众指标为基础,辅以现有的权威指标,构建出一个论文评价的综合体系。

最后在效用上。传统评价方式主要关注评价论文发表后的学术影响力;“大众评价”方式的意义在于实现学术论文的学术影响力评价的同时,突出了学术圈对学术论文内容价值大范围、深层次的思考与讨论。

3.3大众评价指标体系构建

学术论文的大众评价是在网络出版的开放形势下,以学术论文的开放获取为基础,将学术大众作为评价主体,通过现有评价指标与大众评价指标相结合的方式,实现学术论文内容价值和学术影响力的综合评价。因此,学术论文大众评价在现有论文评价方式的基础上,选取了大众指标和权威指标两大类型的评价指标,如表2所示。这两类指标的交叉使用,可以有效提升评价指标的完整性和全面性,使学术论文质量得到更为鲜明的揭示。

3.3.1大众指标

大众指标作为学术论文大众评价指标体系中的主体,是以学术大众对一篇论文的评价意见为基础形成的一系列指标,具体内容包含了论文评级、价值类型、专家意见和大众评语4个指标。

A1 论文评级。此指标是通过李克特量表(Likert Scale)的方式,对论文的内容价值进行分级评价。对每一篇学术论文的评价可以划分为A、B、C、D、E 5个等级,其中A表示论文非常有价值、B表示论文比较有价值、C表示论文有一定价值、D表示论文不太有价值、E表示论文没有价值。学术大众可以对论文内容进行评级,由此得到一篇论文内容与价值的总体评分。

A2 价值类型。每一篇已发表的论文都有其学术价值,价值类型这一指标正是通过标签(Tag)的形式,对一篇学术论文的突出成就加以分类标引,揭示出论文内容的深层价值。例如,使用“经典理论”、“研究新方法”、“研究新视角”、“关键实证”或“新发现”等标签,从其理论方法、研究视角、实证过程或研究结论等方面揭示出一篇论文成果的突出价值。

A3 专家意见。意见与评语的指标,主要是采用文字撰写的形式,将学术研究者对一篇论文内容价值的评价进行转化输出,以供进一步的分享和讨论。专家意见是指学科领域内有所建树的专家对一篇论文的评价和具体意见,是以专家的主观意见形成的定性评价指标,同时也是对量化评分的一种补充。该指标与同行评议的区别在于专家人数并不设上限,符合“专家”资格的学术研究者都可以将其对学术论文的意见作为专家意见进行发布。这部分内容往往具有数量少而内容精的特点,对于论文评价有很高的参考价值。

A4 大众评语。大众评语指标是指从事学术研究的广大工作者对论文价值的直观感受和评价,同样以文字形式进行展示。与当前使用的评价方法的主要区别在于,大众评语的参与不设高门槛,与学术研究相关的学术圈人员均可参与其中。这一指标一般具有数量多、观点丰富的特点。大众评语与专家意见相结合,可以使论文内容价值得到更加完整的呈现。

3.3.2权威指标

权威指标是学术论文大众评价指标体系中的辅助性指标。此类指标主要来源于权威机构发布的学术论文评价相关指标,具有权威性和客观性,可为大众评价提供一定的参考价值,增强学术论文大众评价结果的信度和效度。主要包括被引次数、期刊影响因子、作者h指数、全文下载次数、网页全文浏览次数等具体指标。

4总结

近年来,随着Web2.0思想影响的进一步加深,学术论文评价愈加趋向于对论文内容主观价值的探索。综合分析当前学术论文评价方法的优势与不足,本文提出了在网络环境下以学术大众为主体开展学术论文评价的思路,并说明了学术论文大众评价采用的论文评级、价值类型、专家意见、大众评语等具体指标及内涵,以期补充和完善现有的论文评价方法和体系,突出学术大众在论文评价中的主体作用和参与价值,推动论文质量评价方法的发展。为使学术论文质量的大众评价更加完善,在后续研究中还需对这一评价方式及其评价指标的可行性和实际评价效果进行探索和实证。

参考文献

[1]李哲峰,诸平.建立科学评价体系走出“以刊论文”误区[J].宝鸡文理学院学报:自然科学版,2009,29(4):72-77.

[2]金铁成.科技论文评价中存在的三大误区[J].中国科技期刊研究,2004,15(3):284-286.

[3]郭红梅,何苗,邢星,等.不同自然科学门类间论文学术影响力多指标综合评价的合理性研究[J].图书情报工作,2012,56(22):62-68.

[4]刘菊红,黄凯文.开放获取资源评价模式的研究:基于单篇论文质量评价[J].新世纪图书馆,2015,(5):91-96.

[5]Donato H.Traditional and alternative metrics:the full story of impact[J].Revista Portuguesa De Pneumologia,2014,20(1):1-2.

[6]张慧敏.引文分析法的内涵及研究实证[C].第6届中国科技期刊青年编辑学术研讨会暨中国科技期刊的实践经验与发展战略论坛论文集,2006:174-177.

[7]周春雷.引薦分析法:一种新的引文分析法[J].情报学报,2010,29(4):671-678.

[8]Hirsch J E.An index to quantify an individuals scientific research output[J].Proceedings of the National Academy of Sciences of the United States of America,2005,102(46):16569-16572.

[9]Egghe L.Theory and practise of the g-index[J].Scientometrics,2006,69(1):131-152.

[10]陈美伦.一种新的医学论文学术评价系统——医学F1000[J].中华医学图书情报杂志,2008,17(2):70-72.

[11]崔宇红.从文献计量学到Altmetrics:基于社会网络的学术影响力评价研究[J].情报理论与实践,2013,36(12):17-20.

[12]Shotton D.The Five Stars of Online Journal Articles-an article evaluation framework[J].D-Lib Magazine,2012,18(1/2).

[13]谢岩岩.F1000同行评议数据库与SCI引文评价机制的关联性研究[D].北京:中国科学院研究生院,2010.

[14]毛鸿鹏,张志强.Altmetrics研究综述[J].图书与情报,2015,(3):134-140.

[15]Bates M J.The Design of Browsing and Berrypicking Techniques for the Online Search Interface[J].Online Information Review,1989,13(5):407-424.

(本文责任编辑:马卓)

猜你喜欢

质量评价学术论文
学术论文征集启事
学术论文征集启事
学术论文征集启事
学术论文征集启示
学术论文征集启事
«发表学术论文“五不准”»通知
“中职+应用本科”会计专业人才培养质量评价体系的构建