陈 铭，叶继元

1 问题的提出

在信息社会，信息成为重要的战略资源，科学家之间合作与交流的需要带来对资源共享的迫切需求。开放存取是国际科技界、学术界、出版界、信息传播界为推动科研成果、利用因特网自由传播而发起的运动，倡导学术信息共享的理念，致力于促使学术信息无障碍的传播。开放存取主要有两条实现途径：一是开放存取期刊；二是开放存取仓储。开放存取仓储主要包括基于学科的开放存取仓储和基于机构的开放存取仓储。

开放存取仓储早期的发展形式是学科仓储(也称学科库)，是一种以学科为主线的知识库，收集、整理、组织某一学科领域的各种类型的资源，并对这些资源进行长期保存和广泛传播，以促进资源的共享和利用。早期的仓储学科大多是物理学、数学、非线性科学、计算机科学以及定量生物学等领域。近年社会科学领域的开放存取仓储不断涌现，如人文社会学的SSRN和图书情报领域的E-LIS仓储等。

开放存取仓储的另一种形式是机构仓储(也称机构库)，是仅存储该学术机构内产生的学术资源，它将这个机构内研究者的学术成果进行集中保存，并实现开放共享。机构仓储虽然出现得比学科仓储晚，但发展迅速，目前数量上已远超过学科仓储。机构仓储已成为美国、加拿大、澳大利亚、英国等多个国家学术机构的基础设施，比较著名的机构仓储有英国南安普顿大学的Cogprints、美国佛罗里达大学的D-Scholarship、美国能源部的Information Bridge。开放存取仓储对长期保存数字信息资源，促进与加强学术信息和科研成果的传播、交流与共享，提升科研人员及学术机构科研影响力等方面都具有非常重要的作用。

近年开放存取仓储发展迅速，据Open-DOAR(Direct of Open Access Repositories，开放存取仓储名录，http：//www.opendoar.org/)统计，截至2013年7月，全球已有超过2200个开放存取仓储，其中主要为机构库。蓬勃发展的开放存取仓储给科研人员带来了丰富的免费学术资源。但数量众多的仓储对科研人员如何做出合适的选择提出了挑战。因此，应对开放存取仓储进行评价，明确哪些是高质量的开放存取仓储，以便用户有效利用，增加开放存取仓储在学术界的影响力，更好地发挥其学术价值，促进其健康良性发展。具体说来，开展对快速发展的大量的开放存取仓储的评价研究，具有较强的理论与实践意义。从理论层面看，有助于促进学术界对开放存取研究的进程，推进开放存取仓储理论研究的丰富与发展，拓展研究的新视角；并对有效解决长期保存与开发利用数字学术信息资源、完善数字资源管理理论体系具有重要的理论指导意义；还可以促进学术信息的交流和开发，推动我国信息化的发展和社会的进步。从实践看，通过构建开放存取仓储综合评价的指标体系，可以明确开放存取仓储建设中的关键成功因素，如软件选择、数字资源管理、平台建设等，从而为创办高质量的开放存取仓储提供参考；同时还能缓解学术信息获取与需求之间的不平衡状态，满足学者快速、准确地获取免费的高质量的学术信息的需求，推动学术研究成果的交流与共享，提升学者和研究机构的科研影响力。

2 研究现状述评

文献调研发现，对于开放存取仓储的评价大多集中在对于机构库的评价上。由于机构库在欧美等发达国家的发展速度较快，因此对于机构库的评价研究文献量较多，研究角度也比较多样化，特别是对于机构库内数字资源管理和实践建设评价研究开展得较为普遍，取得了一定成果。相比之下，国内研究处在初步发展阶段，机构库数量小、资源少，用户关注度低，实践建设处在初步发展阶段，评价方面的研究成果也比较少。

从国内外的现有研究成果看，大多数学者较少有对机构库全面系统的评价，主要是因为评价的机构库样本偏小、评价指标数据的可获得性比较低等方面。因此大多是集中在对机构库的某一方面进行研究，如对机构库系统软件进行评价。2003年Tansley R[1]等对由麻省理工学院与惠普公司合作开发的Dspace的各项功能和系统架构进行了详细的述评。Kim H H[2]等通过用户调查和实验测试等方法对机构库系统软件进行评价，确定包括满意度、支持度、有用性和有效性等4个方面的评价框架。国内学者王颖洁对DSpace与其他机构库系统软件Eprints和Fedora进行比较分析[3]。开放社会研究所也对9 个机构库系统软件如DSpace、Eprints、Fedora等从软件管理功能、技术特点、信息检索与利用等多方面进行了评价，并出了“A Guide to Institutional Repository Software”的报告[4]。

还有学者对机构库资源及其管理等进行评价，其中重点是对机构库中自存储(Selfarchiving)的评价。Xia J.F.和Sun L.[5]对英国、澳大利亚等9个机构库用户自存储比例和仓储内全文可获取性进行调研，发现作者自存储比例较低，很多机构库提供的多为文摘信息。并分析了影响自存储的因素，如存储信息、全文可获取性、存储资源数量、用户态度等。国内学者郭清蓉也构建了类似的自存储评价体系并进行分析研究[6]。

国外学者还对很多国家的机构库实践建设进行了宏观层面的评价。2005年网络信息联盟、英国联合信息系统委员会以及荷兰SURF基金联合对美国、英国、澳大利亚等13个国家的包括机构库数量、资源类型、学科、使用软件等情况的机构库建设现状进行了抽样调研[7]，结果表明大多数被调查的国家都在大力建设机构库，机构库正在成为高校基础设施的必要组成部分。

虽然对机构库的总体评价的研究比较少，但还是有一些学者从全局角度对机构库进行综合评价。2006年Westell M 提出强制存储、内容评价、长期保持战略等八大影响机构知识库建设的重要影响因素来对机构库进行综合评价[8]。韩国的Kim H H与Kim Y H构建了一个包括内容、系统与网络、使用、用户及提交者以及管理与政策等四大方面的综合评价模型[9]。西班牙科学研究理事会的网络计量实验室从2008年起开始发布机构库的网络计量[10]，以规模、显示度、内容丰富度和学术性4个指标来对近千个开放知识库的学术影响力进行排名和评价研究。国内学者马学良[11]以成熟度理论为基础，借用了软件开发过程的管理及能力的提高与评估方法，构建了基于CMM的机构库评价模型。

综上所述，现有研究成果多是对机构库的某一方面进行评价，而对机构库整体综合的评价较少。在机构库的综合评价中，目前还未见完整的形式评价方面的评价指标体系，且很多研究中设立的指标不易量化。对于机构库中资源的内容质量究竟如何以及用户使用后的感受如何也未见有精细的评价，因此无法考察机构库中资源的学术影响力、创新性和可靠性等方面的情况，也无法验证机构库在学术市场得到的反响究竟如何。所以目前还没有对开放存取仓储的综合评价的研究。笔者认为，虽然在开放存取仓储中，机构库占了绝大部分，但是学科库的建设发展对于人们获取数字资源也是非常重要的；而且学科库和机构库本质上并没有太大的差别。因此，在开放存取仓储评价中不能把学科库隔离开来对待，需要在科学的评价理论基础之上，通过合理可行的方法，构建普遍适用的开放存取仓储的系统综合评价体系，并在该体系的基础上开展综合评价的实践研究。

3 全评价分析框架及其在开放存取仓储上的应用

全评价分析框架是2010年由叶继元教授首次提出[12]，经过近几年的应用实践，在国内评价界和学界产生较大影响。“所谓形式评价是指评价主体对评价客体内含知识的外部特征的评价，它既包含同行的定性评价，也包含定量评价” [13][18]。“所谓内容评价是指评价主体对评价客体内含知识本身特征的评价，由同行专家通过直接观察、阅读、讨论来进行”[14][19]。“所谓效用评价是指实践、时间、历史对评价客体实际作用、价值的验证或最终评价”[15][20]。“合理的评价体系应由评价主体、客体、目的、标准及指标、方法和制度六大要素组成”[16][21]。“叶继元教授的‘全评价’体系已经过很多实证检验证明是科学合理、切实可行的，并已得到学术界的认可。根据‘全评价’体系的理论依据，可以把其运用在开放存取仓储的评价中来科学合理地分析开放存取仓储的评价主体、客体、目的、标准及指标、方法和制度，从而真正掌握开放存取仓储评价的根本所在”[17][22]。

3.1 评价主体和客体

开放存取仓储评价的主体，从评价的本质来看，需从用户使用仓储的角度出发来展开评价活动，才能真实地反映用户对仓储的需求，所以应是使用仓储的用户。评价的客体就是开放存取仓储本身，它是具有数字资源特征的各种数字资源的集合。

3.2 评价目的

开放存取仓储的评价目的就是评估开放存取仓储的质量，检测并反馈它能发挥的各项功能、作用、价值和它能满足用户需求的程度，以便有效地利用开放存取仓储。对开放存取仓储的评价可以帮助创建高质量的机构库或学科库。开展开放存取仓储的评价研究，有助于缓解学术信息获取与需求之间的不平衡状态，满足学者快速、准确地获取免费的高质量学术信息的需求，推动学术研究成果的交流与共享。

3.3 评价标准和评价指标

评价的标准依赖于评价目的。首先明确开放存取仓储是一种系统网络平台，集合了各种网络资源，它的评价标准应从数字资源内容的角度出发，注重评价开放存取仓储的网络属性，以及对仓储的系统和平台的评价。

其次，“全评价体系中的形式评价、内容评价和效用评价可以是一种评价标准”[23][25]。开放存取仓储的形式评价，就是对开放存取仓储所表现出来的外部特征的评价，主要包括对开放存取仓储的资源、网络服务平台、系统软件、网络传播力等几个方面情况进行评价，具体指标包括开放存取仓储的全文率、文摘率、更新速度、检索入口数、访问速度、访问量等。开放存取仓储的内容评价就是对开放存取仓储里每一学科所属的资源的学术性、权威性、新颖性、可靠性等内容质量进行定性的、关于其价值的直接评价。开放存取仓储的效用评价就是用户在使用仓储一段时间后，觉得仓储对其产生的作用和影响程度以及使用满意度的评价。

“评价指标是评价标准的细化。根据这些细化的指标就可以构建开放存取仓储评价的指标体系”[24][26]。

3.4 评价方法

(1)用户评议法：从评价的本质来看，需从用户使用仓储的角度出发来展开评价活动。如在内容和效用评价中，可以采用问卷调查的方式，让用户对其进行定性评价。

(2)层次分析法与模糊综合评价法的结合。“运用层次分析法将开放存取仓储形式评价的指标体系分成递阶层次结构，然后分层次进行模糊综合评价，最后综合出总的评价结果”[27]。“评价制度是为了保证评价活动进行、要求有关人员共同遵守的规程。对开放存取仓储的评价也需严格遵循学术大环境下制定的监督制度，可以充分保障评价活动围绕评价目的正常进行”[28]。

4 开放存取仓储“全评价”体系构建

4.1 开放存取仓储形式评价中的指标体系

在设立开放存取仓储评价指标体系时须依据一定的原则来科学地设定：首先，各指标不重复，也不遗漏，选取具有代表性的指标，能全面完整地反映开放存取仓储的本质特征。其次，各评价指标应是易于量化的，数据是易于获得的。再次，所建的指标体系需层次分明、结构合理，同一层次上的指标不应互为包含关系。

根据开放存取仓储的特征和形式评价指标体系的设立原则，笔者拟构建一个三层的开放存取仓储形式评价指标体系，包括4个一级指标、15个二级指标。

要对开放存取仓储的发展进行全面的综合评价，需要确定其影响因素，即评价开放存取仓储，需要从哪些方面着手。笔者认为，开放存取仓储评价主要考虑开放存取仓储的资源、系统软件与网络平台服务水平、网络传播力等三大方面：

4.1.1 开放存取仓储资源

开放存取仓储的资源能体现开放存取仓储的内容价值，所以首先需要对开放存取仓储的资源进行评价。开放存取仓储资源评价一般包括资源的数量、资源的全文率、资源的组织分类、资源的更新速度和回溯时间等。

资源数量(C11)：一个开放存取仓储的资源总量对用户的使用有着重要的影响，数量越多，用户能找到他们所需的科研信息就越多，从而也能促进他们把自己的科研成果存储在这个仓储中。因此，开放存取仓储资源的数量是其价值所在，是评价该仓储的重要因素。开放存取仓储收录的资源形式多样，包括论文、工作文档、技术报告、会议录、多媒体文件等，收录多少电子文档格式的资源或多媒体资源，就记为多少“篇”或“件”。

全文率(C12)：这是指开放存取仓储内全文型的资源占所有资源的比例。开放存取仓储的全文率高，这样的开放存取仓储就更加开放、共享，使用率就会高，是衡量开放存取仓储开放性和共享性的重要指标。

资源的组织分类(C13)：信息资源组织是否合理影响到机构库内信息资源的检索。随着仓储资源数量的不断增加，如果仓储内不同学科类别的资源不加分类，全部收录在一起会延长用户查找特定资源的时间，给用户带来不便，对资源的有效管理也会带来很多弊端。因此，仓储资源是否进行组织分类是一个重要的评价指标。

更新速度(C14)：这是指开放存取仓储资源更新的速度，有每日更新，还有每周更新，大多数是不定期更新。它能反映一个仓储的生命力如何，是否有源源不断的新资源进入仓储。

回溯时间(C15)：这是指开放存取仓储收录资源的回溯时间，时间越久，越能保证仓储收集资源的全面性，也越能反映一个仓储的质量。

4.1.2 开放存取仓储系统软件与网络平台服务

开放存取仓储系统软件和网络平台服务水平的评价是对仓储进行全面综合评价必不可少的环节。目前，仓储使用最多的软件是DSpace，其次是软件Eprints和OPUS。一般来说，评价仓储的系统软件和网络平台服务，主要考虑以下几个方面：一是系统软件的功能。如系统是否接受多媒体文件、是否支持全文搜索功能、系统的可靠性、可扩展性和访问速度如何等；二是系统软件技术。如协议标准、元数据质量、系统配置水平以及用户界面是否友好等；三是网络平台的服务水平，如访问的速度、检索入口数、个性化服务项目数等各项指标。这些指标，决定了一个仓储建设是否标准，是体现用户是否积极使用仓储频率的重要指标，反映出仓储的质量水平。

协议标准(C21)：“由于元数据格式较多，在进行系统间互操作时元数据格式转换和匹配会产生较大的障碍。是否采用统一的协议标准，决定着开放存取仓储能否实现有效传递。”[29]因此，在自存储资源建设中，应遵循统一的互操作性协议标准。根据是否有协议标准来确定指标的判定标准。

元数据质量(C22)：选择合适的元数据类型对于一个仓储来说是非常重要的。元数据是否正确、统一、完整、唯一和有效是判定其是否能够充分描述内容，提供正确检索及资料交换的标准。“可以通过仓储软件来考查自动控制元数据质量的程度：(1)是否有一个较为完善的、符合通用元数据标准的元素表；(2)是否制定了元数据的著录规范；(3)主题词或关键词是否准确；(4)能否自动检测系统来控制元数据的质量”[30]。从这几个方面可以判定仓储元数据的质量。每符合一条标准计数为1。

个性化服务项目数(C23)：个性化服务项目的质量与数量能够反映一个开放存取仓储的服务水平和质量。个性化服务的实用性很强，给用户带来了很大的方便，如RSS定制：向用户“推”送信息来实现信息组织；Trackbacks跟踪：系统通过自动建立一个网页来跟踪记录用户的浏览记录；Notify me：系统以邮件的方式把符合用户检索要求的资源发送给用户；Top(用户下载最多的文章)：仓储中列出某一段时间内用户获取次数最多的前N篇文章，使用户看到这段时间最受用户关注的研究主题；New submissions：向用户提供过去N天内新进入仓储的文章列表，使用户获取最近更新的文章。有一种个性化服务计数为1。

检索入口数(C24)：指系统提供给用户的各种检索途径的数量，如作者、题名、关键词、全文等检索入口。可供选择的检索入口数越多，用户查找使用自己需要的资源就越快捷方便。有一种计数为1。

访问速度(C25)：用户访问开放存取仓储时，从点击提出访问申请到系统给予回应告知了所需结果中间所花时间的多少。相应速度越快，用户找到资源的速度也就越快，可以反映平台的服务水平。

4.1.3 开放存取仓储网络传播力

网络传播力也是评价开放存取仓储的一个重要方面。开放存取仓储内的数字资源是基于网络传播的资源，能否方便、快速地把资料传播到用户中去是体现开放存取仓储的价值的因素之一。

网页数量(C31)：从Google、Yahoo、Live Search(BING)、Exalead四个主要搜索引擎中检索到的开放存取仓储的网页数量。仓储内的网页数量被搜索引擎收录的越多，用户通过搜索引擎能搜索到仓储及访问该仓储的可能性就越大[31]。

外部链接数(C32)：目标知识库从Yahoo和Exalead检索所得的其他网页对本网页外部链接总数。它的理论基础是链接与引文的相似性，一个网站被该网站以外的网页链接的数目(简称网站的外部链接数)越大，该网站被用户使用的可能性就越大。

被开放存取仓储名录的收录数(C33)：提升仓储的能见度需要在主要的知识库目录和新的搜索引擎中登记并提交信息，以利于信息检索和发现。国内有一些仓储由于未在Open DOAR和ROAR中注册导致没有进入评测范围，失去了在世界范围内提升自身影响力的机会。如果被OpenDOAR和ROAR同时收录的记为2分，一个库收录记1分，如果都没有收录则为0。

访问量(C34)：开放存取仓储被访问情况的一个指标，被访问越多说明该仓储越受重视。开放存取仓储的年访问量是指开放存取仓储网站在一年内被访问的次数，可以很好地反映开放存取仓储的被关注程度。

下载量(C35)：开放存取仓储资源被下载的一个指标，下载数量越多说明该仓储资源越受到用户的认可。开放存取仓储的年下载量是指开放存取仓储里的所有资源在一年内被下载的总次数，是一个反映仓储资源传播力程度的重要指标。

根据以上分析，开放存取仓储形式评价的指标体系结构见图1。

4.2 开放存取仓储的内容评价

早期的开放存取仓储是没有质量控制措施的，只要求作者在提交论文时符合仓储规定的标准格式(如PDF或Word)和学术规范，并通过限定学科范围，一般没有针对文章内容实施严格的评审。这实际上属于“自存储”行为。但是随着开放存取仓储的规范发展，许多开放存取仓储都采取了相应的质量控制措施以保证仓储资源的质量，如同行评议等，对学者上传的学术资源进行审核，以控制上传资源的质量。这确实从很大程度上保证了开放存取仓储里资源的质量。但开放存取仓储里的资源质量如何是不可能如形式评价中用指标和数字就能来评判的。它需要由学科的专家认真阅读其所属学科资源后才能给予仓储里这个学科资源一个总体的定性评价。这种内容评价虽然比较花时间，但是得出的结论相对更可靠。可以采用调查问卷的方法，让专家根据评价等级给予评定。评价可采用调查问卷(见表1)的形式。

表1 开放存取仓储内容评价调查问卷

4.3 开放存取仓储的效用评价

对开放存取仓储的效用评价是用户在使用开放存取仓储一段时间后，仓储对用户产生的作用和影响程度的评价，如内容评价一样不能采取定量的指标来评判。因此也可以采用调查的形式向用户了解其使用仓储后对其学习工作和技能提升产生影响的感受。

表2 开放存取仓储效用评价调查问卷

5 结语

本文在“全评价”分析框架的指导下，针对开放存取仓储的特点，构建了包含形式评价、内容评价和效用评价三方面的较为全面完整的开放存取仓储评价体系，可供具体的评价参考。具体的评价首先需要明确评价的目的，从评价目的出发，选择合适的评价主体，类分评价客体，确定评价标准及指标，采用定性、定量以其一为主，或二者结合的评价方法，制定详细的评价程序等制度，就能取得评价开放存取仓储的实际效果。本文篇幅所限，具体的评价待另文撰写。

[1] Tansley R，Bass M，Stuve D，et al.The DSpace institutional digital repository system：Current functionality[M]//Proceedings of the 3rd ACM/IEEE-CS joint conference on digital libraries. Washington，DC：IEEE Computer Society，2003：87-97.

[2] Kim H H， Kim Y H. Usability study of digital institutional repositories [J]. The Electronic Library，2008，26 （6）：863-881.

[3] 王颖洁.机构知识库建库软件DSpace、Eprints、Fedora 的比较分析[J].图书馆学刊，2008 （4）：133-137.

[4] Open Society Institute. A Guide to Institutional Repository Software [EB/OL]. [2013-06-26].http：//www.soros.org/openaccess/pdf/OSI_Guide_to_IR_Software_v3.pdf.

[5] Xia J F，Sun L. Factors to assess self-archiving in institutional repositories[J]. Serials Review，2007，33（2）：73-80.

[6] 郭清蓉. 机构知识库自存储评价体系的构建[J]. 情报杂志，2009，28 （7）：74-76，73.

[7] Westrienen G V，Lynch C A. Academic institutional repositories： Deployment status in 13 Nations as of Mid 2005[EB/OL].[2013-06-27]. http：//www.Dlib.org/dlib/september05/westrienen/09westrienen.html.

[8] Westell M. Institutional Repositories：Proposed Indicators of Success[J]. Library Hi Tech，2006 （2）：211-226.

[9] Kim H H，Kim Y H. An Evaluation Model for the National Consortium of Institutional Repositories of Korean Universities[J].American Society for Information Science and Technology，2007 （1）：1-19.

[10] 西班牙的赛博计量学实验室于2010 年1 月推出的机构库400强名单[EB/OL].[2013-06 -22]. http：//repositories.Webometrics.info/toprep.asp?offset= 250.

[11] 马学良. 机构库评价的关键问题研究[J]. 图书情报工作，2011，55 （11）：9-12.

[12][13][14][15][16]叶继元.人文社会科学评价体系探讨[J].南京大学学报（哲学·人文科学·社会科学版），2010，47 （1）：97-110.

[17][23][24]陈铭. 基于“全评价”体系的图书馆电子书评价研究[J]. 图书与情报，2012 （1）：22-26.

[18][19][20][21][22][25][26][27][28]叶继元，陈铭.开放存取期刊学术质量“全评价”体系研究———以“中国科技论文在线优秀期刊”为例[J].图书与情报，2013（2）：81-87.

[29][30]张毅君. 机构知识库质量评价指标研究[J]. 现代情报，2011，31 （10）：50-52，56.

[31]崔宇红. 开放存取知识库的网络计量排名和评价研究[J]. 图书情报工作，2010，54 （20）：115-118.