学术会议质量评价方法文献综述与研究展望

2022-05-05耿祎楠吴杰郭诗园李彤

学会 2022年4期

耿祎楠吴杰郭诗园李彤

[摘要]学术会议是学术交流的重要方式，具有推动学科发展、促进知识共享和转化等功能。对学术会议质量进行评价能够归纳高质量会议的特征和经验，为科技工作者提供必要的参会指引。该文系统梳理了学术会议质量评价方法相关研究文献，将学术会议质量评价方法分为基于文献计量学指标、基于多指标综合性的评价方法和基于组织管理学理论模型的评价三类，分析了各类评价方法的特征，并提出了研究展望：一是在相同学科条件下形成统一的学术会议质量评价体系;二是将科技成果转化作为重要维度纳入学术会议质量评价体系;三是积极开展学术会议质量评价的实证研究;四是采用定性与定量相结合的方式对学术会议质量进行评价。

[关键词]学术会议会议质量评价文献计量学

[中图分类号]N94516[文献标识码]A[文章编号]10019596（2022）040026-05

一、引言

當前，对于学术会议质量的评价引起了社会各界的广泛关注。对于参会者来说，在一个高质量的会议上发表论文可以作为论文质量和潜在影响的标志。随着科技发展和社会进步，我国各领域的学术会议数量逐渐增多。《中国科协全国学会发展报告（2020）》显示，2019年全国学会组织的国内学术会议4362场，参会人数达到170万人次。为了给广大师生和科技工作者提供参会指引，不少大学和社会组织都推出了针对学科领域的学术会议推荐目录。学术界对学术会议质量评价方法的探索和实践研究也越来越多。

目前学界对于学术会议质量评价方法的研究主要分为计算机科学领域学术会议评价和基于多学科的综合性学术会议的评价这两种思路。计算机学科领域的学术会议质量评价以文献计量学指标为主，以论文的质量反映会议总体的质量。基于多学科的综合性学术会议质量评价研究从不同的维度和视角出发，构建了各类评价指标框架和体系，但都尚未形成统一的学术会议质量评价体系。

本文通过对近年来国内外学者对学术会议质量评价方法相关文献进行梳理，将学术会议质量评价方法分为基于文献计量学指标的评价、基于多指标综合性学术会议指标评价和基于组织管理学理论模型的方法等三种类型，详细剖析了每一类学术会议质量评价方法的特征，识别了研究中存在的优势和不足，最后对学术会议质量评价方法研究提出了意见和建议。

二、基于文献计量学指标的学术会议质量评价方法

此类评价方法多集中于计算机科学和人工智能相关领域。由于该领域发展迅速，为了更短的传播周期，该领域很多成果都是通过会议论文的形式发表，会议论文与期刊论文的比例为249篇[1]。因此该领域中会议论文的文献计量指标可有效反映会议的质量、声誉和影响力水平。此类方法中主要应用的文献计量学指标有论文接受率（Paper Acceptance Ratio，AR）、论文引用率（Citations Frequencies，CF）、论文影响力（PImpact）、同侪声望（Peer Reputation，PR）、H指数（H|index）和G指数等。XUEHUI学会2022年第4期2022年第4期学术会议质量评价方法文献综述与研究展望XUEHUI

论文接受率（AR）指的是收录论文的数量与论文投稿总量之比，AR值越低，说明学术会议的质量越高，该指标已成为衡量学术会议质量的普遍性指标。但有研究发现，由于作者自过滤或缺乏严格的审稿过程等原因，经常存在AR值低的学术会议比AR值高的被引次数少的情况[2]。论文引用率（CF）是指科学论文对文献的引用次数，会议论文引用率是衡量一个会议影响力的重要依据。Martins等基于会议论文的引用率提出了会议影响因子（CIF）、会议引文影响（CCI）等作为文献计量指标来评价学术会议的质量[3]。但也有研究表明，许多引用至少要追溯到5年前[4]。由于会议规模不同，不同会议的被引量或相同会议不同年份的被引量不能直接比较，在进行会议评价时经常将引文数量进行归一化处理产生的论文影响力[5]（PImpact）来进行评价。由于AR值的缺陷和论文引用率对于时间的要求，Nelakuditi等提出了利用论文第一作者的机构在各类大学/机构排行榜中的位置的同侪声望值（PR）来评价学术会议的质量的方法[6]。具体来说，PR<1/3，20>则表示会议中1/3的论文来自于排名前20%的大学。PR对AR作出了改进，但也存在仅针对美国大学排名进行研究和仅考虑第一作者所在机构等问题。此外，也有学者探索了利用H指数[7]、G指数[8]评估学术会议的质量并进行了实践验证。这些指标的提出丰富了以文献计量学为基础的学术会议质量评价的指标与方法，但也存在仅利用一类指标进行质量评价结果过于单一和因会议样本量少而存在偶然性的问题。因此不少学者提出综合利用各类文献计量学指标构建评价体系，对学术会议进行分档评级或排序。

Küngas等提出了一种会议论文的踊跃程度与过往会议论文引用量相结合的计算机学科学术会议质量评价方法[9]。Loizides等基于12个计算机科学领域3000篇论文数据，提出了一种综合考虑PR值、论文影响力和作者H指数的学术会议分类方法（CCA）[10]。张洋等通过PR值、H-index、Plmpact、零被引率等四类7个指标的综合，应用TOPSIS模型建立了学术会议质量动态评价方法[11]。此外，不少机构也尝试构建基于文献计量指标的学术会议评价指标体系，并对学术会议进行分档评级或排序。解决了单一指标对于会议评价的客观影响问题，更全面真实地反映了学术会议的质量。

文献计量学指标评价方法可以客观、定量地衡量学术会议的质量。其局限在于仅用反映论文水平的文献计量学指标来评估会议的质量。但学术会议质量的评价并非文献计量的产出、交流过程以及会务组织情况等个别、零散方面可完整表征。对于学术会议质量的评价应更加全面和综合。

三、基于多指标的综合性评价方法

这一类评价方法试图通过归纳、分析学术会议的核心环节和关键要素，进而构建复杂、完整的适用于多学科的综合性学术会议质量评价体系，主要分为以下三类。

（一）基于会议全流程的多指标综合评价方法

此类方法认为，对于学术会议的评价应贯穿于会议提出、准备、进行和结束的全过程，体现在会前、会中、会后等各个方面。一些学者通过学术会议的特征分析以及不同阶段的要点，构建了与学术会议完整过程相适应的多指标综合性学术会议质量评价体系，认为学术会议发生阶段反映了会议主题设置的水平，准备阶段反映了论文总体水平，进行阶段反映了会议交流研讨水平和会务水平，会后反映了综合效益和与会者反响[12-14]。此类方法多是依靠办会经验和对会议发生过程中的各类影响要素进行归纳总结，构建初步的学术会议质量评价体系框架，存在评价结果受评价者主观意愿影响大、指标的合理性和内在逻辑性需要进一步验证、缺少实证研究等问题。

（二）基于学术影响力的多指标综合评价方法

此類方法关注学术会议的学术性内涵，根据学术影响力的生成阶段、扩散阶段和传播阶段来构建多指标评价体系。唐家蕙等基于学术性影响力生成的过程性测度、结果性测度和影响性测度等构建了学术会议质量综合评价基本框架[15]。也有学者提出了学术会议质量评价要兼顾远期效益影响，关注参会者会后是否会将在会议上学到的新知识应用到实际中去[16]。2017年，中国科协立足学术会议“学术性”本质特征，构建了以学术吸引力、交流互动力和成果传播力为一级测度的学术会议质量评估指标体系，并设立了特邀报告人学术水平、会议论文/摘要的接受率、学术成果的表现形式等10个二级指标[17]。此类方法把握了学术会议的本质特征，但未考虑到会议组织流程等方面的评价。

（三）基于全维度的多指标综合评价方法

此类方法致力于对会议形成综合评价，全面、系统地反映学术会议的质量。孙泽厚等由表及里、由浅入深地分析了影响学术会议质量的要素指标。将学术会议质量评价为学术、交流、会议三个构面，形成包括办会动机、会议主题、会议论文、会议人员、会议氛围、会议组织形式及流程、参会成本、会议组织等8个维度的学术会议质量评价体系[18]。游媛通过对以往学术会议质量评价指标的总结归纳，设计了包括组织、交流、学术、成果、影响五个层面的学术会议质量交流评价指标体系[19]。此类评价体系较为全面地反映了学术会议质量的各个方面，但评价结果过于依赖参会者主观认识。

此类评价方法形成了关于学术会议学术影响、研讨交流和会议组织等基本评价指标的共识，对于评价指标体系的实操验证和实践应用则需要进一步探讨。

四、基于组织管理学理论模型的评价方法

在此类方法中，学者从不同视角如参会代表满意度、会议利益相关者目标以及新组织结构等出发，对学术会议的内涵做出了新的解读，并通过借鉴组织管理学中顾客满意度指数模式、平衡计分卡、差距分析等模型，结合学术会议本身特点的基础，对模型作出改进，形成了学术会议质量评价框架和方法。

例如，李新杰等将学术会议看作为参会者提供服务的过程，基于与会代表满意度对学术会议质量进行评价，借鉴顾客满意度指数（ACSI）模型构建与会代表满意度模型，将参会者对整体会议质量、会议主题、学术论文遴选和会议组织过程等的感知作为与会代表满意度评价指标，探索了与会代表满意度与感知期望、感知质量、感知价值变量之间的关系[20]。中国科协课题组从服务质量管理的角度出发，将学术会议质量感知分为总体感知、主要维度感知和亚维度感知三个层次，并借鉴“差距分析理论”构建了学术会议质量评价“差距分析”模型[21]。肖建华从目标管理的角度出发，借鉴平衡计分卡模型，通过总结梳理学术会议不同利益相关者的目标，形成了包含学术会议目标层、用户层、流程层三个维度共40项指标的学术会议评价指标框架，为统一各类学术会议效果评价标准提供了一个新思路[22]。郑毅将学术会议看作一类组织，从新组织结构学派视角出发，明确了学术会议的组织结构模块及分工特征，厘清了学术会议组织的绩效内涵及组织绩效的生成步骤，形成了学术会议绩效评价管理框架，为会议要素在交互过程中有效支撑学术会议目标的达成提供了指导[23]。

将组织管理学的理论方法模型引入学术会议评价管理研究中，丰富了学术会议质量评价体系和方法，为解决学术会议质量评价研究提供了新思路和方法。但也存在相互独立，不能形成统一的学术会议质量评价体系的问题。此外，此类方法仅提出了学术会议质量评价的框架，对评价框架的实证和实践应用还需要进一步探讨。五、研究展望

整体来看，目前关于学术会议质量评价方法的研究还存在以下问题：一是尚未形成统一的学术会议质量评价体系。学界对学术会议评价的内涵、过程、特征等并未形成一致的认知，在特定学科领域没有形成统一的、被广泛认可的评价方法体系。二是并未将科技成果转化作为一项重点指标纳入学术会议质量评价体系。三是对学术会议评价方法体系的实证研究较少。大多数研究致力于学术会议质量评价方法体系的构建，仅有少数学者利用层次分析法、模糊集合理论等对评价指标体系进行验证和权重赋值[19，24]。四是定性与定量相互分离。计算机科学领域的学术会议质量评价以定量为主，其他学科领域以定性为主。

基于本文分析，提出以下研究展望。

一是在不同的学科领域内形成相应的学术会议质量评价体系。学术会议质量的评估评价只有在相同学科条件下进行才有意义[25]。目前，学界对学术会议质量评价维度的划分和指标选取建立了基本共识，但在相同的学科领域内，学术会议质量评价框架体系的构建和测量方法并不统一。这也导致通过不同的方法对学术会议进行评价结果不一致的问题，容易对参会者形成困扰。在相同学科条件下形成统一的学术会议质量评价体系有利于对学术会议质量形成统一评估，为广大科技工作者提供指引。

二是将科技成果转化作为重要的学术会议质量评价维度。科技成果转化对于创新驱动发展具有重要作用。学术会议作为展示学术科研成果的重要平台，为学术界和产业界搭建了科技成果转化的桥梁。虽已有研究提出成果转化率作为学术会议影响力的指标[19]，但仅作为影响力维度之一，其重要性并未充分体现。此外，对于这一指标的内涵的论证以及具体测量还需进一步探讨。

三是积极探索学术会议质量评价的实证研究。加强对学术会议质量评价框架的实证检验，对学术会议质量评估结果与权威排行的重合率以及是否符合科技工作者预期进行验证;探索学术会议质量评价方法实践研究，分析我国学术会议存在的问题，助力学术会议质量提升。

四是采用定性与定量相结合的方式开展学术会议质量评价。计算机科学领域的学术会议质量评价方法以文献计量指标为基础，以定量为主。其他学科领域学术会议质量评价多以问卷调查形式开展，以定性为主。两类方式应相互借鉴，尤其是基于多指标综合性评价和借鉴组织管理学模型所构建的评价框架体系中，针对会议论文质量的评价多引入文献计量学指标，形成定量和定性评价相结合的评价方式，从而更加客观地评价学术会议整体质量。

参考文献

[1]LAENDER A H F，LUCENA C J P D，MALDONADO J C，et al.Assessing the research and education quality of the top Brazilian Computer Science graduate programs[J].Acm Sigcse Bulletin，2008，40（2）：135-145.

[2]CHEN J，KONSTAN J A.Conference paper selectivity and impact[J].Communications of the Acm，2015，53（6）：79-83.

[3]MARTINS W S，MARCOS ANDR GONALVES，LAENDER A H F，et al.Assessing the quality of scientific conferences based on bibliographic citations[J].Scientometrics，2010， 83（1）：133-155.

[4]RAHM E，THOR A.Citation analysis of database publications[J].Acm Sigmod Record， 2005，34（4）：48-53.

[5]張洋，叶月.基于多指标的学术会议动态评价研究[J].数字图书馆论坛，2018（7）：37-44.

[6]NELAKUDITI S，GRAY C，CHOUDHURY R R.Snap judgement of publication quality：how to convince a dean that you are a good researcher[J].Acm Sigmobile Mobile Computing & Communications Review，2011，15（2）：20-23.

[7]王倩.h指数及其衍生指数在评价学术会议中的应用研究[J].科技情报开发与经济， 2015（15）：135-139.

[8]EGGHE L.Theory and practice of the g-index[J].Scientometrics， 2006， 69（1）.131-152

[9]PEEP KNGAS，KARUS S，VAKULENKO S，et al.Reverse-engineering conference rankings： what does it take to make a reputable conference？[J].Scientometrics， 2013， 96（2）.651-665.

[10]LOIZIDES O S，KOUTSAKIS P.On evaluating the quality of a computer science/computer engineering conference[J].Journal of Informetrics， 2017， 11（2）：541-552.

[11]张洋，叶月.基于多指标的学术会议动态评价研究[J].数字图书馆论坛，2018（7）：37-44.

[12]刘国卫.学术会议质量评价探讨[J].科学学与科学技术管理，1991（4）：23-25.

[13]杨文志.论多学科综合性学术会议的质量评价[J].学会，1992（Z1）：79-82.

[14]杨民，毕小敬.学术会议质量评估方法的可行性[J].中国现代医学杂志，1994（4）：74-75.

[15]唐家蕙，李晓轩，郑毅，等.学术会议质量综合评价研究及实践[J].科技导报，2021，39（17）：106-114.

[16]马敬安.探索和建立学术会议的质量评估体系[J].学会，1996（9）：13.

[17]学术会议质量评估报告（2017）[M].北京：中国科协，2018.

[18]《学术会议质量国内外比较研究》课题组.学术会议质量国内外比较研究[C]//学术交流质量与科技研发创新研究，2009：10，12-105.

[19]游媛.学术交流质量评价指标体系的构建研究[D].重庆：重庆大学，2012.

[20]李新杰.基于改进的ACSI模型的学术会议质量评价实证研究[J].中原工学院学报，2017，28（2）：66-72.

[21]中国科学技术协会学会学术部.学术会议过程与使用语言研究[M].中国科学技术出版社，2008.

[22]肖建华，霍国庆，董帅，等.基于平衡计分卡的学术会议效果评价指标体系研究[J].科学学与科学技术管理，2009，30（12）：48-54.