王英 王铖 张睿婵

作者简介：王英（1985-），女，副教授，硕士生导师，研究方向：信息资源知识产权、信息政策与法律。王铖（1995-），男，硕士研究生，研究方向：信息资源管理。张睿婵（1998-），女，硕士研究生，研究方向：信息资源管理。

摘 要：[目的/意义]出声思考法是一种真实性高、即时性强的数据收集方法，已在国内外图书情报学有较广泛的应用，但其应用的规范化程度不高，有必要通过回顾现有文献总结一套规范的应用流程，并展望未来如何更好地利用出声思考法促进图书情报学的研究。[方法/过程]通过调研国内外文献，总结了应用出声思考法的主要研究主题和7类常见规范性问题，并依此归纳了被试、主试、实验环境、方法自身这4类影响出声思考法应用过程的主要因素。[结论/结果]总结了出声思考法的规范应用流程。在未来的研究中，应该扩展并深化出声思考法的应用主题，进一步细化并落实应用流程，强化主试对出声思考法的学习和探索，综合利用多种方法深化数据分析，为未来出声思考法在图书情报学的应用提供参考。

关键词：出声思考法;图书情报学;规范应用流程;研究方法;数据收集方法

DOI：10.3969/j.issn.1008-0821.2022.04.003

〔中图分类号〕G312 〔文献标识码〕A 〔文章编号〕1008-0821（2022）04-0025-14

Abstract：[Purpose/Significance]Think Aloud Protocol（TAP）is a data collection method with high authenticity and strong instantaneity，which has been widely used in the field of Library and Information Science（LIS）at home and abroad.However，its application is not highly standardized.Thus，it is necessary to review the published literatures and summarize a standardized application process，and forecast how to serve researches better by TAP in the field of LIS.[Method/Process]Based on the research of Chinese and Global literatures，main research topics which applied TAP were summarized，and seven common standardization problems in the existing research were analyzed.Then，4 core factors affecting the application process of TAP were summarized，including the experimental objects，researchers，experimental environments and method itself.[Result/Conclusion]A standardized application process of TAP was summarized.In future research，the subjects of TAP applications should be broadened and deepen，and each stage of TAP should be further refined and implemented into practical applications.The study and exploration of TAP researchers should be strengthened;different research methods should be used comprehensively and data analysis should be deepened.In this way，providing references for the application of TAP in LIS in the future.

Key words：Think-Aloud Protocol;library and information science;standardized application process;research methods;data collection methods

出声思考法（Think Aloud Protocol），又称出声思维法、口语报告法等。出声思考法起源于心理学界，于1945年首次由德国心理学家Duncker K提出，是由内省法发展而来的一种认知心理学研究的基本方法[1]。该方法的基本操作非常明确：被试（接受实验或测试的对象）在执行实验任务时，要大声说出其思维过程。20世纪末，国外开始将出声思考法应用于图书情报学的研究中，包括研究用户的信息检索行为[2-4]、用户与特定信息系统（在线图书馆目录[5-6]、数据库[7]等）的互动、数字图书馆[8-10]、信息服务与用户[11]、医疗健康信息[12-13]等主题。直到21世纪初，国内学者沙勇忠等、黄丽红才开始尝试将出声思考法应用于研究网络用户信息搜寻行为[14-15];隨后，国内更多学者陆续开始在图书情报学的研究中应用出声思考法收集数据，主要聚焦于信息资源检索[16-17]和移动图书馆[18-19]等主题。

作为一种以实验为核心的数据收集方法，实验在出声思考法中的突出地位容易引起这种困惑——出声思考法是不是实验法的一种？事实上，社会科学研究中的实验法是自然科学的实验法扩展而来，主要通过在人工设计的条件下对有限的人员进行研究并揭示社会现象或者规律，而出声思考法是一种以实验为载体收集被试思维过程的数据收集方法。可以说，实验是出声思考法的一个必不可少的环节，但“出声思考法”与“实验法”并没有从属关系。与问卷调查法、访谈法等可以独立完成所有数据收集工作的方法相比，出声思考法专注于收集实验数据而缺乏对被试的背景信息、被试对各实验环节的想法等数据的收集，为了促成数据的多元分析和拓展研究结果的应用范围，通常需要通过问卷或访谈等方式补充收集缺失的数据。因此，出声思考法并不会单独作为唯一的数据收集方法，但由于其具备下述特性使其仍然是不可替代的[20]：①数据真实可靠性：出声思考法是由被试参与设计好的实验任务，主试通过观察、录音、录像等方式获取被试在实验过程中即刻想法的客观实验数据和言语数据，由于实验任务通常不涉及被试本人对特定事物的主观认知，其语言表达会较为客观自然。与同样要出声的访谈法相比，访谈对象面临的问题大多是其本人对某事某物的回忆或主观观点，其言语出口前往往经过脑海的组织加工，这种加工往往还伴随着主观意愿带来的隐藏、修饰等，在一定程度上会影响数据的真实性、客观性。相比之下，出声思考法显然更加能够胜任对实验数据的真实性和客观性要求更高的研究。与问卷调查法相比，出声思考法获取到的数据类型和数据容量更加丰富，可以对复杂主题的研究提供更有力的支撑;②数据获取效率高：Bunz U K指出，出声思考法只需要4～5个被试即可确定80%的信息[21]。由于被试同时提供实验数据和言语数据，一个被试样本提供的信息密度较其他方法更高，从少量被试身上即可获取足量信息，数据获取效率更高。基于出声思考法的上述特性，笔者认为当对某些群体的行为特征和背后的驱动因素进行研究分析时，使用出声思考法收集数据是其他方法不可比拟的。

虽然出声思考法在图书情报学的研究中已有一定的应用，但是许多应用出声思考法的研究因为不够规范而降低了出声思考实验的可靠性，影响到出声思考法的效果，进而影响整个研究的价值，要想其发挥正确作用，仍需精心设计实验环节以避免外界因素的干扰，保障收集的数据完整、真实、可靠。为促使该方法在图书情报学未来的研究中应用得更加规范和科学，有必要对出声思考法在图书情报学的研究进行回顾，并展望出声思考法的未来应用动向。因此，本研究依托Web of Science和中国知网数据库，对国内外运用出声思考法的图书情报学研究进行系统性文献综述，试图回答以下问题：

1）出声思考法应用于图书情报学研究时存在哪些规范性问题？

2）出声思考法的规范应用流程应该是什么样的？

3）出声思考法的未来应用动向是什么？

1 数据与研究设计

系统性文献综述法（Systematic Literature Review Methodology），是一种标准化的文献研究方法，相比于传统文献综述不可避免的主观性和偏见，通过对数据库多种方式的检索、分析，系统性文献综述可以在更加全面、准确地掌握研究主题的研究进展的基础上得出研究结论[22]。除了与传统文献综述一致的提炼研究问题的步骤，系统性文献综述法还必须执行6个关键步骤：①研究设计;②文献检索;③文献评估;④数据抽取;⑤数据整合;⑥综述[22]。因此，本文将利用系统性文献综述法对国内外图书情报学应用出声思考法的研究进行系统性综述，以发现该方法应用中的规范性问题，促进出声思考法未来的规范应用以及更多优质研究成果的诞生。

1.1 研究设计

为回应上述研究问题，本研究设计如下研究框架（如图1所示）：将以图书情报学应用出声思考法的研究为基础，精读文献并提取关键数据，系统性回顾当前出声思考法在图书情报学的应用现状;结合现有研究中出声思考法的运用过程和效果，分析出声思考法各环节存在的规范性问题，提炼各问题对应的影响因素，归纳在图书情报学应用出声思考法的规范流程，并指出未来应该如何在研究中规范利用出声思考法，进一步促进图书情報学学术研究的规范发展。

1.2 文献检索与评估

本研究的文献样本主要来自中国知网（CNKI）中的CSSCI和北大中文核心期刊数据库，以及Web of Science核心合集中的SSCI索引。其中国内文献包括中国知网中的全部相关文献和Web of Science中中国作者发表的外文文献，剩下的文献作为国外研究的文献样本。具体文献检索与评估过程如下（如图2所示）：通过整合出声思考法的各种称谓和限定相应数据库的时间范围、语种、文献类型、学科等条件后，检索出中文文献23篇、英文文献105篇;结合本研究提出的3个研究问题制定了3条文献筛除标准;通过逐篇下载和精读，发现共有1篇国内作者发表在外文期刊上的文献应纳入国内研究，然而该文献是该作者完全相同的研究内容分别以英文和中文两种语种发表，其中文版先行发表并已纳入中文文献样本，故而拟定了标准④并筛除了对应的英文版。最终，中文文献按标准①筛除了7篇;英文文献分别按标准②、③、④筛除了12篇、3篇、1篇;总的文献样本为国内16篇（均为中文）、国外89篇（均为英文）。

1.3 文献数据抽取

通过对文献样本逐篇精读和讨论，笔者抽取了文献的具体主题、实验对象、数据收集方法、数据分析方法等关键数据用于统计分析。其中，研究主题是笔者根据作者的研究内容进行的主观判断，每篇文献可能对应多个不同的研究主题。其他数据则主要提取于作者原文中的表述。经过进一步的讨论，笔者将所有的主题根据相似性归纳总结为七大研究主题：信息检索、信息用户、信息行为、数字图书馆、医疗健康、信息利用、信息组织。国内学者主要将出声思考法应用于信息用户（8篇）、信息检索（9篇）和信息行为（8篇）这3个大类主题的研究。其中，许多文献横跨多个主题，比如，司莉等对信息检索中的用户行为的研究[23]、韩玺对网络用户在线医评信息检索行为的研究[24]和刘冰等对科研用户网络学术信息检索行为的研究[25]均同时研究了信息用户、信息检索和信息行为这3个主题;胡琳等、李鹏等对合作信息检索行为的研究[17，26]和徐汶超等对数据库检索行为的研究[16]均涉及了信息检索和信息行为两个主题。国外学者主要将出声思考法应用于信息检索（44篇）、信息用户（28篇）、信息行为（21篇）、数字图书馆（19篇）、医疗健康（19篇）、信息利用（6篇）、信息组织（2篇）这七大类主题的研究。其中许多文献也是横跨了多个主题，比如，Zerehsaz M等对数字图书馆中信息检索与求助行为间关系的研究分别涉及数字图书馆、信息检索和信息行为[9];Kous K等对不同用户群体如何评价图书馆网站可用性的研究既涉及了数字图书馆的建设，也涉及了对不同用户群体的分析[11]。

通过比较国内外文献的研究主题，可以发现：

第一，国外文献应用出声思考法最突出的3个研究主题与国内完全一致，都是信息检索、信息用户和信息行为。但如图3所示，在文献的绝对数量上，国内与国外仍有较大差距。国外学者早于国内学者将出声思考法应用于图书情报学的研究，并在近些年发表了越来越多的相关文献。相比之下，国内直到近几年才陆续有一些相关文献见刊，年发表数量也波动较大。这代表国内学者有必要进一步拓展出声思考法在信息检索、信息用户和信息行为等相关主题的应用研究。

第二，国外相关研究的主题远比国内的更深入和细致。国外文献中已经有了大量对诸如数字图书馆、信息利用、信息组织等更新颖、更细化的研究。可见，国外图书情报学学者在长期应用出声思考法的过程中已经积攒出了一套成熟的应用方法，并随着图书情报学研究的专深化，将出声思考法越来越多地应用于细化主题的研究。这也侧面反映出了国内学者应用出声思考法的深度不够，需要进一步加深对研究主题的剖析，将宏观的主题拆分成更细化、更具体的子主题，并主动应用出声思考法进行研究。

第三，国外学者还将出声思考法应用于医疗健康相关的跨学科主题的研究。这些研究的成果发表在了一些更侧重于医学信息的期刊中，如Journal of the American Medical Informatics Association、Qualitative Health Research、Journal of the Medical Library Association等。这样的结果与SSCI索引下的Information Science Library Science类目收纳了众多医学期刊有直接关系。同时也应看到，出声思考法在图书情报学与医学跨学科研究中也发挥了重要作用。而中国知网的学科分类策略是以文献为单位的，每篇文献可以有不同的学科分类且互不影响，笔者筛选“图书情报与数字图书馆”后，该领域并没有出现大幅度跨学科的文献。因此，国内图书情报学学者也应积极尝试拓宽图书情报学的学科边界，将原本适用于本学科的研究方法运用在与医学或其他学科相结合的跨学科研究中。

2 出声思考法应用的规范化程度分析

通过分析文献，笔者发现，在图书情报学研究中应用出声思考法的过程十分便利，但是部分研究在方法应用的规范性上存在多种共性问题。因而，为了提高出声思考法的应用效果，有必要对在图书情报学应用出声思考法的规范化程度进行讨论分析。

2.1 实验设计的精细度参差不齐

现有文献大都描述了应用出声思考法的实验设计和实验流程，只是不同文献实验设计的精细度有所不同。有的实验设计精细度比较高，比如，Si L等在多语言信息检索用户行为实证研究中，详细地描述了实验设计，包括多个实验目的、实验平台选择、精细的实验步骤以及为避免实验问题发生的预实验[27];Stonbraker S等以流程图展示了其两个阶段实验的迭代设计和评估过程，通过纳入专家和被试的建议增强了调查结果的普遍性[28];Xie I等通过调研视障用户在数字图书馆检索时的求助情况设立了大量求助情境，依照研究问题提出了一些无效假设（Null Hypothesis），将不同类型的求助情境精简至17种，根据实验设计制定的4条标准选取了契合标准的实验平台，然后根据被试的人口学特征设置实验组和对照组完成了实验[8]。然而，有的实验设计精细度不够，甚至缺失对实验设计的陈述。比如，Clerke R I等对图书馆编目的研究中并未详细描述实验设计环节，仅仅记录了实验过程[29]。在出声思考法的应用过程中，实验设计精细度不够会造成以下后果：①难以体现实验方法和实验流程的合理性：为了回应研究问题，有必要在实验设计中对实验步骤进行讨论，这有助于判断主试选用的实验方法是否契合研究主题;②难以保证实验的合规性：由于出声思考实验依赖被试参与，如果实验设计中缺少知情同意以及必要的伦理许可，研究的合规性将难以保证;③易造成读者理解和重现实验的障碍：实验设计缺失会导致读者难以理解实验流程各环节的目的，无法判断收集的实验数据是否必要和充足，更无法重现实验过程验证实验结果的准确性。

2.2 被试的契合度有限

招募被试是出声思考法实验环节的第一步，也是保障研究结论普适性的重要一步。然而，一些文献中被试的招募和筛选流程存在规范性问题。现有文献中，应用出声思考法时招募被试的主要渠道包括主试的私人关系邀请[29-30]、公开招募[18，31-32]或者亲友推荐[33]等。然而，这些渠道招募的被试通常来源有限、特征集中，导致实验对象不够多元，与研究主题契合度有限。通常，这个问题主要由两种因素导致：第一，研究主题面向的群体规模较小或者较为隐匿，主试难以在有限的渠道中获取足够严格契合要求的样本。比如，Everhart N等调查大学生自闭症患者在大学图书馆的信息搜寻行为、想法和感受的研究中，由于招募的實验对象（自闭症患者）参与社会活动的意愿较低，难以被主试接触到，因而被试数量比较有限。只有社交性受自闭症影响较为有限的患者愿意参与实验，这与社交性更低的目标样本相比契合度稍差[34]。第二，主试其并未从候选的被试中进一步筛选更契合、更具有代表性的人选。比如，Brett K等对休斯敦大学的检索工具“Primo”进行可用性研究时，只选用了本科生并且未设置任何筛选标准[35]。通过这样的被试得到的实验数据，其数据可信度和研究结果的普适性都值得商榷。

2.3 被试的培训效果难以确保

对绝大多数被试而言，出声思考是一种全新的体验，很容易在实验过程中脱离出声思考的状态，影响实验的开展和数据的收集。因而，有必要培训被试至检验合格再参与出声思考实验。诚然大部分文献都根据不同研究主题对被试采取了不同方式的培训，如一对一讲解[11]、集中讲解[36]、现场演示[27]、演示视频教学[37]、分阶段多次培训[36]等。但是，只有少数文献通过预热任务[38]和测试环节[39]检验培训效果甚至根据检验结果完善实验设计[37]。

被试的培训形式因实验任务不同而各不相同。但不论是何种培训，如果没有检验效果的环节，就可能造成以下问题：①被试的必要技能掌握不充分以致实验表现不及预期，从而引起较大数据误差;②缺失被试检验环节可能给实验埋下隐患。而预实验等不仅可以检验被试的培训效果，还可以有效地发现实验设计的缺陷。如果实验设计的缺陷在正式实验才被发现，可能影响一些宝贵的实验样本或者出现重要数据缺失等问题。因此，在进行正式的实验之前，有必要培训被试并通过预实验验证实验设计的合理性和必要性，反之，缺失培训及检验将会使实验结果难以令人信服。

2.4 主试对被试存在不同程度的影响

主试对被试会产生或间接或直接的影响，可能使实验结果难以维持中立性。首先，在间接影响上，被试可能由于霍桑效应（被试意识到自己正在被观察研究而带来的方法上的人为效应）主动改善自己的表现[40]，或者由于被观察产生紧张感引起发挥失常，这样收集到的实验数据会存在不小的偏差。许多文献都提及了主试意识到自己可能对被试产生影响，因而，绝大部分主试会尽可能减少与被试的互动从而尽量避免对被试的影响，比如，只观察被试而不互动，或者仅在被试要求时进行回应[41]。不同的互动方式对被试可能存在不同程度的影响，但文献中并未量化影响程度，也没有分析当前的研究更适合采用何种互动方式。其次，在直接影响上，主试常常需主动干预被试以推进出声思考实验的开展，这样也会一定程度上影响实验数据的中立性。在实际的出声思考实验中，被试常常会因为运用出声思考不够熟练而暂停或中止口述思维的情况，这时，主试会选择提醒被试。比如，Llamero L会在被试沉默时询问对方的想法[42]，吴丹等会在对被试的操作或话语存在疑问时随时提问[43]，Pontis S等选择非侵入式的手势提示以鼓励被试继续说话[44]。这些主动干预是否必要？不同形式的干预对被试的影响有多大？还有的主试选择杜绝人工干预，并会将长时间沉默的实验数据作为无效数据剔除[27]。那么应该如何认定无效数据？无论主试如何开展出声思考实验，都会间接或直接地对实验结果产生不同程度的影响。因而，有必要研究不同形式地干扰被试对实验结果的影响程度，进而规范管理主试在实验中的干预行为，尽量降低主试对被试的影响。

2.5 实验环境拟真度不高

大部分现有的出声思考实验都是在实验室环境下单独完成，比如Pontis S等研究不同资历的学者群体如何在陌生领域从零开始建立认知时，有11名不同资历的学者在实验室中参与了出声思考实验[44];Jamali H R等在“互联网过滤”对信息检索行为和情绪的影响研究中，来自5个不同社科专业的15位硕士生在实验室电脑上完成了出声思考实验任务[45]。虽然封闭的实验室可以尽可能避免来自外界的干扰，但是由于实验环境是人工搭建的，受限于实验条件，实验场地有限、现场存在无法排除的干扰、无法完全模拟真实场景存在的影响因素等拟真度不足的情况对实验结果仍然存在影响[33，45-46]，以致许多学者担心在实验室这种特定环境中完成的特定任务不一定能推广到更大的范围[11，44，47-51]。比如，Rutter S等研究用于解决日常技术任务的搜索策略时为被试设置了模拟任务，但是受限于实验室环境，主试不得不设定任务完成時限，这导致了被试的抱怨。因为人们在日常生活中完成搜索需求时，可以根据自己所处的场景、时间等因素采取灵活的搜索策略直到完成搜索，合理的中断、休息等行为也是日常搜索策略的一部分，但是被试在实验室中完全以完成任务为导向而执行的搜索策略与此不同，并不能推广到解决日常技术任务中去[52]。为了解决这种问题，一些学者选择在实地场景完成出声思考实验。比如，吴丹等在室外真实环境下研究了用户步行导航中的关注点及变化[43];Hahn J等在图书馆场景中研究了大一学生寻找藏书路径的导航问题[53]。可见，在室外开阔环境、公共区域等真实场景也可以进行出声思考实验。所以，主试设计实验时应该结合研究主题，充分考虑真实场景下进行出声思考实验的必要性和可行性，灵活设置实验地点和实验环境，力求实验数据契合实际。此外，主试有必要更多地关注非实验室环境下的研究主题，充分利用出声思考法获取被试在真实场景下的真实反馈，提高研究结果的准确性和普适性。

2.6 补充数据收集方法选择不当

作为一种以实验为主的数据收集方法，出声思考法能高效地收集被试最直接的思维过程。然而，其在收集被试的人口学特征、直接获得被试的反馈等方面具有一定局限性。因而，大多数文献都引入其他类型数据收集方法补充数据，比如，回溯性出声思考法[54]、问卷调查法[9，19]、访谈法[13，55]、日志法[56-58]、直接观察法[59]等。这些方法获取的数据可以有效地支撑研究结论，提升研究结论的可靠性。在现有研究中，应用最多的问卷调查法、访谈法和日志法就常常收集到重复数据。通常，这些重复数据通常是口语转录而成的文本，即使进行人工筛除，其中也会有相当一部分不需要或不必要分析的冗余数据。可见，补充的数据及其收集方法并非越多越好，有时会加大主试的无效工作量，同时也浪费了主试的机会成本。所以，在补充收集数据时，主试选择数据收集方法和扩大数据样本要结合各类数据收集方法的特点、根据研究主题的需要选择最合适的方法，以便更高效、更充分地发挥补充数据的价值。

2.7 实验数据筛选标准和分析深度有待完善

高质量的数据可以有效提高研究结论的可靠性，因而，有必要对收集到的数据进行筛选。在筛选数据时，要根据被试的表现是否规范、是否受外界影响较大等标准进行研判。然而，很多文献缺失了数据筛选环节，比如，Hahn J等研究大一学生在图书馆中寻找藏书路径的导航问题时就并未提及数据筛选过程，而是直接对数据进行了编码和分析[53]。通过这样的数据分析得出的结论的科学性和普适性都难以得到保障。为此，主试应该进行如下数据筛选：①观察到被试的表现明显没达到要求（如沉默时间过长或比例过高）的实验数据，应该被剔除[27];②被试主动反馈实验表现差的数据，应该被剔除[60];③对于使用量表等方式收集的但无法通过信效度检验的定量数据，应该被剔除[45]。

通过筛选的数据进入数据分析环节。在现有的文献中，常用的数据分析方法有定性分析和定量分析两大类。其中，定性分析方法主要包括内容分析（Content Analysis）[19]、主题分析（Thematic Analysis）[33]、归纳分析（Inductive Statistics）[60-61]、扎根理论（Grounded Theory）[26]等;定量分析方法主要包括描述性统计分析（Descriptive Statistics）[32，62-63]、方差分析（Analysis of Variance）[36，40，64]、回归分析（Regression Analysis）[3，65-66]、相关分析（Correlation Analysis）[24，67]等。事实上，大多数文献仅仅使用了描述性统计分析、内容分析等较为基础的数据分析方法，使得数据分析的深度过于停留在表面，而更深入、更系统化的定性分析（如扎根理论、归纳法等）及定量分析（如方差分析、相关分析等）却较少使用，这些数据分析方法有助于挖掘出更多深入而有价值的结论。所以，主试不仅要按照一定标准对数据进行筛选，更应该根据研究问题选择更多元的数据分析方法加深分析深度。

3 讨论与分析

出声思考法已经越来越多地被用于图书情报学主题研究，为了更充分地将其数据真实性高、即时性强的特点发挥出来，有必要根据方法应用的规范性问题探寻其影响因素，总结出声思考法在图书情报学的规范应用流程，助力其在未来的研究中扬长避短。

3.1 影响出声思考法规范应用的因素

通过出声思考法在图书情报学应用的规范化程度分析，笔者发现可以将“被试契合度有限”及“被试培训效果难以保证”归纳为被试因素;将“实验设计精细度参差不齐”及“主试对被试存在影响”归纳为主试因素;将“实验环境拟真度不高”归纳为实验环境因素;将“补充数据收集方法选择不当”及“实验数据筛选标准和分析深度有待完善”归纳为方法自身因素。这4个因素共同构成出声思考法在图书情报学研究中规范应用的4个核心影响因素，如图4所示。

3.1.1 被试因素

被试是出声思考法的重要元素。其主要在两个环节上容易出现问题：被试的招募和培训。第一，在被试的招募环节中，最突出的问题是被试人数有限[11，34，36，42，45，51，62，68-69]，其会引发诸如年龄不均衡[13]、性别不均衡[44]、职业不均衡[44]等问题，进而导致样本同质化[70]问题。这是因为，被试招募信息的覆盖程度有限，被试来源过于集中[27，29，48，67-68]、教育背景相近[27，35]、文化背景单一[42，47]、甚至不契合目标样本的部分指标（比如社交性过高）[34]。第二，在被试的培训环节中，最突出的问题在于多数文献都缺失了对被试培训效果的检验。这样可能导致培训不到位，被试无法完成实验任务，也无法提前检验实验设计中可能存在的问题。所以，在出声思考法的应用研究中，招募和培训被试时要注意以下几点：

1）如果招募被试存在困难，可以考虑提高被试的报酬來提高对潜在参与者的吸引力，也可以设置更灵活的实验时间或地点以便被试及时参与实验。

2）被试的选择要根据研究主题合理确定，为了避免选取的被试特征过于集中而导致研究结论的普适性不足，应尽量使用多样化的渠道以增加与不同群体被试的接触机会。

3）被试的培训形式应该根据研究主题的需要灵活确定，培训过程中主试应该积极答疑，使被试能够充分理解实验要求并掌握必要技能。

4）被试培训完毕后，有必要设置检验或预实验环节对被试的培训效果进行检验，一方面可以有助于判断被试是否符合参与实验任务的条件;另一方面通过检验环节有助于提前发现一些实验设计问题，提升出声思考实验的完成质量。

3.1.2 主试因素

主试也是导致出声思考法应用出现规范性问题的因素之一，主要表现在3个方面：①实验设计的精细度参差不齐。出声思考法需要主试对实验细节进行设计，然而许多研究中实验设计的精细度参差不齐，从而导致实验设计的合理性、合规性难以保障，也容易使实验的回溯性和可验证性受到影响;②主试会间接或者直接影响被试的表现。在实验过程中，主试不可避免地会间接或者直接影响到正在执行实验任务的被试。一方面，由于知道主试的存在，即便没有与之互动，被试也可能因为心态原因导致异于平常的表现，进而造成收集到的实验数据可能与正常情况不一致[29，49];另一方面，主试在认为必要时会采取手势提醒、言语提醒、补充提问等不同程度的干预来保障被试的表现符合实验要求。

总体而言，为了保证出声思考法获取的第一手数据的真实性、可靠性，降低主试的影响，开展研究之前可以进行如下准备工作：

1）主试提前与被试熟悉，在培训环节构建亲密的演讲者与听众的关系，以降低被试的紧张感，减少主试对被试的心理影响。

2）根据研究主题和被试可能受影响的指标，设置被试受影响程度的评判标准，将受影响较大的实验样本筛除。

3）增加被试的数量，排除受影响较大的实验样本，提高实验样本数量的容错率，保障研究结果的有效性。

4）对主试的行为予以规范，尽可能减少主试不必要的干预行为，降低对被试的影响。

3.1.3 实验环境因素

实验环境也会影响出声思考法的应用效果，主要在于两个方面：第一，实验场地有限、环境有干扰，导致被试无法很好地完成实验任务;第二，实验场所常常无法完全还原研究主题的实际应用场景，拟真度不高。为了降低实验环境因素的影响，有必要采取以下措施：

1）对于上机实验等适合室内完成的实验，应该尽可能选取安静的场所，其场所大小也应该契合实验要求。

2）对于真实场景中的研究主题，应该尽可能充分地模拟真实场景，在保障安全的前提下可直接在真实环境中（如真实的图书馆、真实的城市道路等）进行实验，这样可以尽可能获取被试在真实场景下最真实的想法和反应。

3）为了避免某些偶然情况下样本数据受环境影响而波及实验结果的准确性，有必要根据实验场景设定数据筛选标准。

3.1.4 方法自身因素

出声思考法自身的局限性会导致数据庞杂且价值不明、可信度不确定、可分析深度有限等问题。首先，出声思考法忠实记录被试口述出来的信息，在保障了数据原始性的同时，还记录了庞杂的价值不明的数据，分析利用前需要进行有效内容的筛选;其次，出声思考法过于依赖被试的描述[52]，不管是即时口述的同步出声思考，还是事后回忆的回溯性出声思考，都依赖被试的短时记忆。然而短时记忆低容量的特性无法支撑太复杂的任务[4]，也必然不能反映其完成任务时的整个决策过程[67，71]，这样获取的被试的言语数据可信度不确定。最后，作为一种定性研究方法，出声思考法缺乏统计概括能力[61]，其研究结果也不一定能推广[72]，难以进行深层次的分析。为了避免方法自身因素影响出声思考法的应用，提升其用于复杂问题研究的能力，有必要采取以下措施：

1）设置适当的数据筛选标准。根据研究主题设计数据筛选标准以排除不达标的实验样本，有助于规范提取实验样本中有价值的数据以推进高效的数据分析。

2）引入其他数据收集方法补充数据，这已经成为大部分运用出声思考法进行研究的学者的共同选择。通过其他数据收集方法，主试可以获取实验前、实验中、实验后的各类数据，包括但不限于问卷、访谈、日志、笔记等多种形式，这可以和出声思考实验数据相互验证，一定程度上提高数据的可信度。

3）综合不同类型数据分析。综合不同数据收集方法采集的数据以深入分析，进而挖掘融合数据的潜在价值，诞生新的研究结论，比如将眼动追踪、日志和出声思考法的数据结合后，可以通过锁定时间追踪具体的任务进程[36]。然而，需要注意的是组合分析可能导致各个方法的效果混淆[70]，难以判断单个方法在研究中的价值大小。

3.2 出声思考法的规范应用流程

为了提升出声思考法应用的可回溯性和可验证性，笔者综合图书情报学各研究中出声思考法的应用流程将其进行如图5所示的规范化。首先，提出研究问题后，要对出声思考实验流程进行设计;然后，实验设计如果涉及生物医学的研究，需要找伦理委员会评估并获得伦理许可才能推进。如果不需要伦理许可，则可以直接进行被试的招募和筛选;随后，告知被试实验流程及其享有的权利义务，并与其签订知情同意书;然后方可对被试进行必要的培训及其效果测试;接下来，如果在测试中发现实验设计存在问题，应该及时调整实验设计并重新完成培训和测试;同时，仍然无法达到实验标准的被试应该剔除，达到实验标准的被试开始出声思考实验并收集必要的数据;最后，将收集好的原始数据进行转录、筛选（信效度分析等）、分词、编码等预处理并深入分析。其中，有些关键步骤需要特别注意：

1）实验设计

①设计实验任务：根据研究问题，设计相关的实验任务;

②确定实验方法：根据设计的实验形式，敲定关键的数据收集方法和数据分析方法;

③确定实验流程。

2）被试的招募与筛选

①招募被试：仅从目标群体中招募被试，如特定专业、特定年级学生等[73-74];

②基本背景调查：采用问卷、访谈等方式对被试进行基本的背景调查，如年龄[62]、性别[9]、学历[9]、职业[6，38，75]、相关经验[52]等以增强被试的多元化;

③确定被试：根据研究目的和要求，按照实验需求选取确定的人选[18];

④签署知情同意：与选定的被试签署知情同意书[41，45，76]。

3）被试的培训和检验

①培训被试：根据需要和条件灵活选择多样的培训形式;

②检验培训效果：培训完成后，安排测试[39]、预实验[38]等环节强化和检验培训效果，如果实验效果欠佳，可以视情况修改实验设计[37]。

4）实验进行与数据收集

①进行出声思考实验：根据实验设计监督被试完成实验任务;

②收集数据：使用录音[8]、录像[34]、录屏[65]、日志记录[8，56]等技术方式记录被试的言语、表情、行为等信息;

③赠送礼品：向完成实验的被试赠送礼品，包括但不限于一定数额的现金[46]、一定面值的礼品卡[12]和各种小礼品[35]等。

5）数据处理、数据筛选与数据分析

①数据处理：对收集的音视频的数据文件文本化、分词、编码;

②数据筛选：对收集的数据进行真实性、完整性、数据质量、信度、效度分析，将达不到标准的数据筛除;

③数据分析：选取合适的数据分析方法和分析工具对整理好的数据进行尽可能深入的分析。

4 未来的应用动向

通过对国内外文献的系统性文献综述，可以看出，出声思考法已经有成熟的理论基础，国内外图书情报学学者将其广泛地应用到研究中来，然而其应用的规范性有待进一步完善。因此，未来的图书情报学研究应用出声思考法应该着手从如下方面进行改进。

4.1 扩展并深化出声思考法的应用主题

从前文的统计分析，可以看出，国内现有的研究相比国外研究在主题的广度和文献数量方面有很大差距。其中，比较突出的一类主题是新兴信息技术的应用。习近平总书记在全国网络安全和信息化工作会议上曾讲过：“要发展数字经济，加快推动数字产业化，依靠信息技术创新驱动，不断催生新产业、新业态、新模式，用新动能推动新发展。要推动产业数字化，利用互联网新技术新应用对传统产业进行全方位、全角度、全链条的改造”[77]。显而易见，信息化和信息技术将在未来的创新发展中起到巨大的助推作用。作为一个与信息技术密不可分的学科，图书情报学的学者应该抓住时代机遇，加快将各种新兴技术应用到研究中去，并反哺信息产业相关技术的研究，更应该充分利用出声思考法的优势，大胆拓宽出声思考法的应用主题范围，为信息产业和信息化赋能，助力图书情报学在信息时代发挥更大的作用。此外，另一个与国外研究差距较大的主题是医疗健康。图书情报学学者应该拓宽视野，将出声思考法应用于图书情报学与医疗健康的跨学科研究上，甚至进一步探索与其他学科进行跨学科研究的可能性，这样的学科碰撞必然会激发无穷的生命力。

另一方面，除了扩展主题范围外，还可以深化出声思考法的应用主题。随着图书情报学研究的专深化，国外学者将出声思考法越来越多地应用于细化主题的研究，这也反映出了国内学者需要进一步加深对应用出声思考法的研究主题的剖析，可以不断尝试根据不同群体、不同需求等细分出许多出声思考法未触及过的子领域，比如在信息检索行为的研究中，就有对儿童[65]、中学生[78]、大学生[34]、律师[79]、患者[66]等不同主体深入研究的文献。还有毕达天等人利用出声思考法对移动图书馆用户信息接受的情感变化[19]、信息接受障礙[55]、信息接受熵[18]等不同方面做深入的系列研究。所以，应该利用出声思考法进行更多细化主题的研究。

4.2 细化并落实出声思考法的应用规范

出声思考法的本质十分简单，就是将思维过程口述表达出来。但是，只有保证各个环节的严谨性、研究设计的合理性、 实验准备的充分性、 数据收集的真实性、数据分析的深入性，才能确保通过出声思维法获得的数据真实有效和结论科学。相反，一旦出声思考法的实施过程存在不规范的地方，实验数据的完整性、真实性、科学性等特性将受到严重影响。通过对文献的系统性文献综述，可以发现从实验设计的精细度、被试的选择和培训、实验环境的拟真、补充收集其他数据等环节都能体现出声思考法的运用过程不够规范。仅仅通过本文总结的出声思考法规范应用流程，不足以彻底改善出声思考法的应用现状。未来的相关研究有必要进一步深挖细节，通过对比研究探寻哪些环节存在改善实验表现的潜质，并有针对性地细化出声思考法的应用规范。进一步地，为了充分发挥出声思考法的实验数据真实性高、即时性强的优势，在应用出声思考法的研究中应该将各条规范逐一落实到位。

4.3 強化对出声思考法的学习和探索

出声思考法的整个应用流程许多地方需要注意，因此，作为出声思考法的直接应用者，主试要加强对出声思考法的学习，进而可以有效规避潜在的问题并提升出声思考法的应用效果。主试需要认真学习、精心准备，才能保障研究顺利完成。首先，在出声思考实验设计阶段，主试需要确定研究数据的收集方法，这时就有必要对出声思考法和研究主题的契合度进行判断;出声思维实验的场地、被试的招募和培训都需要主试做大量的准备工作。其次，在实验进行阶段，主试该如何与被试互动/避免互动也是实验结果的决定性因素之一。最后，在实验分析阶段，主试需要对原始数据转录、筛选、分词、编码等转化为可以直接分析的数据;还需要对成品数据进行深入分析。

此外，在应用出声思考法时，主试也应该积极思考，培养问题思维，主动探索应用过程中存在的问题，比如，主试可以采取哪些行为来避免或降低对实验效果的影响？通过对出声思考法应用的积极探索，将实践经验总结成可行的研究范式。

4.4 综合利用多种方法深化数据分析

从文献中，可以发现多数主试将出声思考法与其他方法结合使用，而且补充使用了不只一种数据收集方法来收集数据。然而，在数据的收集和分析利用上没有形成规范，还存在补充数据的收集方法选择不当、数据分析深度严重不足等问题;另外还有一些亟待解决的难题，比如，不同数据收集方法的顺序怎样安排，可以降低对被试的干扰？除了对各种补充数据进行孤立的分析以外，如何将多种数据融合分析以挖掘出声思考法的应用价值和效果？目前，仅有少量研究将多种方法采集的数据融合进行数据分析，比如，Walhout J等将眼动追踪、日志和出声思考法的数据结合后，实现了锁定时间来追踪具体的任务进程，从而可以通过任务复杂度评估学生的表现[36];Crowley R S等将视频和出声思考数据结合后，将患者陈述病情的关键时间节点进行了定位[40];Zhang P Y等将任务日志的时间线与被试出声思考过程的表现结合起来分析，如表情、思考时长和任务难度对情绪和任务效率存在什么影响等[31]。通过将这些不同方法采集的数据与出声思考法的数据融合起来，可以有效地深化数据分析的深度。那么，哪些方法收集的数据可以和出声思考法收集的数据融合分析可以起到1+1>2的效果呢？这些方法与出声思考法一同使用时，该如何对全流程进行规范化呢？这都值得进一步研究。

5 结 语

尽管出声思考法在图书情报学的应用还存在诸多问题，但其数据获取效率高、真实性强等与众不同的优势与图书情报学的各类研究（比如，信息检索、信息用户、信息行为等主题的研究）都十分契合，具有广阔的应用前景。但同时，也应正视出声思考法的规范性受被试、主试、实验环境和方法自身等因素的影响。为此，本文从主题领域、流程规范、学习探索、方法融合这4个方面提出了未来的发展动向，期望为促进出声思考法在图书情报学的应用和推动图书情报学研究的发展提供一些参考。

参考文献

[1]Duncker K.On Problem-solving[J].Psychological Monographs，1945，58（5）：i-113.

[2]Wang P，Soergel D.Beyond Topical Relevance-document Selection Behavior of Real Users of IR Systems[J].Proceedings of the Asis Annual Meeting，1993，30：87-92.

[3]Tang R，Solomon P.Toward an Understanding of the Dynamics of Relevance Judgment：An Analysis of One Persons Search Behavior[J].Information Processing & Management，1998，34（2-3）：237-256.

[4]Nahl D，Tenopir C.Affective and Cognitive Searching Behavior of Novice End-users of a Full-text Database[J].Journal of the American Society for Information Science，1996，47（4）：276-286.

[5]Kiestra M D，Stokmans M J W，Kamphuis J.End-users Searching the Online Catalog-the Influence of Domain and System Knowledge on Search Patterns[J].Electronic Library，1994，12（6）：335-343.

[6]Connell T H.Subject Searching in Online Catalogs-metaknowledge Used By Experienced Searchers[J].Journal of the American Society for Information Science，1995，46（7）：506-518.

[7]Shaw D.Undergraduate Use of CD-ROM Databases：Observations of Human-computer Interaction and Relevance Judgments[J].Library & Information Science Research，1996，18（3）：261-274.

[8]Xie I，Babu R，Lee T H，et al.Enhancing Usability of Digital Libraries：Designing Help Features to Support Blind and Visually Impaired Users[J].Information Processing & Management，2020，57（3）：14.

[9]Zerehsaz M.Analysing the Relationship Between Information-seeking and Help-seeking Behaviours in a Digital Library[J].Electronic Library，2017，35（5）：882-898.

[10]Babu R，Xie I.Haze in the Digital Library：Design Issues Hampering Accessibility for Blind Users[J].Electronic Library，2017，35（5）：1052-1065.

[11]Kous K，Punik M，Hericˇko M，et al.Usability Evaluation of a Library Website with Different End User Groups[J].Journal of Librarianship and Information Science，2020，52（1）：75-90.

[12]Curran R L，Kukhareva P V，Taft T，et al.Integrated Displays to Improve Chronic Disease Management in Ambulatory Care：A SMART on FHIR Application Informed By Mixed-methods User Testing[J].Journal of the American Medical Informatics Association，2020，27（8）：1225-1234.

[13]Paige S R，Stellefson M，Krieger J L，et al.Transactional eHealth Literacy：Developing and Testing a Multi-Dimensional Instrument[J].Journal of Health Communication，2019，24（10）：737-748.

[14]沙勇忠，任立肖.网络用户信息查寻行为研究述评[J].图书情报工作，2005，（1）：134-138，117.

[15]黄丽红.国外网络用户信息查寻行为的研究方法述评[J].情报科学，2009，27（11）：1747-1752.

[16]徐汶超，杨瑜.基于口语报告法的数据库检索行为研究[J].情报探索，2012，（12）：1-5.

[17]胡琳，B.Gabbard R，姚乐野.口语报告法在信息检索行为研究中的应用[J].图书馆学研究，2017，（4）：56-61.

[18]毕达天，王福.移动图书馆信息接受熵及其仿真研究[J].数据分析与知识发现，2018，2（7）：101-111.

[19]毕达天，王福.移动图书馆场景化信息接受过程的情感变化研究[J].图书情报工作，2019，63（6）：20-28.

[20]韩青青，韩芳芳.出声思维法：研究网络用户信息行为的有效方法[J].新世纪图书馆，2013，（6）：70-72，79.

[21]Bunz U K.Usability and Gratifications -Towards a Website Analysis Model[C]//The 87th Annual Conference of the National Communication Association，2001：11-12.

[22]黄甫全，游景如，涂丽娜，等.系统性文献综述法：案例、步骤与价值[J].电化教育研究，2017，38（11）：11-18，25.

[23]司莉，潘秋玉，庄晓喆.基于实证的多语言信息检索用户行为分析[J].国家图书馆学刊，2015，24（5）：81-90.

[24]韩玺.网络用户对在线医评信息查寻过程的实验研究[J].情报理论与实践，2021，44（2）：161-167.

[25]刘冰，鲁庆碧.科研用户网络学术信息搜寻行为有限理性实验研究：基于任务情境分析视角[J].图书情报工作，2017，61（19）：32-40.

[26]李鹏，韩毅.扎根理论视角下合作信息查寻与检索行为的案例研究[J].图书情报工作，2013，57（19）：24-29，56.

[27]Si L，Pan Q Y，Zhuang X Z.An Empirical Analysis of User Behaviour on Multilingual Information Retrieval[J].Electronic Library，2017，35（3）：410-426.

[28]Stonbraker S，Porras T，Schnall R.Patient Preferences for Visualization of Longitudinal Patient-reported Outcomes Data[J].Journal of the American Medical Informatics Association，2020，27（2）：212-224.

[29]Clarke R I，Dobreski B.Exploring the Role of Repertoire in Library Cataloging[J].Journal of Documentation，2019，75（5）：1169-1189.

[30]魯庆碧.基于任务情境的科研用户网络学术信息资源搜寻行为影响因素实验研究[J].情报探索，2018，（7）：19-23.

[31]Zhang P Y，Soergel D.Cognitive Mechanisms in Sensemaking：A Qualitative User Study[J].Journal of the Association for Information Science and Technology，2020，71（2）：158-171.

[32]高飞，石蕾，王健，等.农业科学数据用户相关性线索与标准之间关系探索[J].图书情报工作，2017，61（15）：72-80.

[33]Makri S，Buckley L.Down the Rabbit Hole：Investigating Disruption of the Information Encountering Process[J].Journal of the Association for Information Science and Technology，2020，71（2）：127-142.

[34]Everhart N，Escobar K L.Conceptualizing the Information Seeking of College Students on the Autism Spectrum Through Participant Viewpoint Ethnography[J].Library & Information Science Research，2018，40（3-4）：269-276.

[35]Brett K，Lierman A，Turner C.Lessons Learned：A Primo Usability Study[J].Information Technology and Libraries，2016，35（1）：7-25.

[36]Walhout J，Oomen P，Jarodzka H，et al.Effects of Task Complexity on Online Search Behavior of Adolescents[J].Journal of the Association for Information Science and Technology，2017，68（6）：1449-1461.

[37]Loke C，Foo S，Majid S.Derivations of Design Concepts for Video Search Interfaces[J].Aslib Journal of Information Management，2019，71（4）：458-479.

[38]Pontis S，Blandford A.Understanding“Influence”：An Empirical Test of the Data-Frame Theory of Sensemaking[J].Journal of the Association for Information Science and Technology，2016，67（4）：841-858.

[39]Woudstra L，Hooff B.Inside the Source Selection Process：Selection Criteria for Human Information Sources[J].Information Processing & Management，2008，44（3）：1267-1278.

[40]Crowley R S，Naus G J，Stewart J，et al.Development of Visual Diagnostic Expertise in Pathology：An Information-processing Study[J].Journal of the American Medical Informatics Association，2003，10（1）：39-51.

[41]Tieu L，Schillinger D，Sarkar U，et al.Online Patient Websites for Electronic Health Record Access Among Vulnerable Populations：Portals to Nowhere？[J].Journal of the American Medical Informatics Association，2017，24（E1）：E47-E54.

[42]Llamero L.Conceptual Mindsets and Heuristics in Credibility Evaluation of e-Word of Mouth in Tourism[J].Online Information Review，2014，38（7）：954-968.

[43]吳丹，陆柳杏.基于出声思考法的步行导航关注点研究[J].数据分析与知识发现，2017，1（5）：23-31.

[44]Pontis S，Blandford A.Understanding“Influence”：An Exploratory Study of Academics Processes of Knowledge Construction Through Iterative and Interactive Information Seeking[J].Journal of the Association for Information Science and Technology，2015，66（8）：1576-1593.

[45]Jamali H R，Shahbaztabar P.The Effects of Internet Filtering on Users Information-seeking Behaviour and Emotions[J].Aslib Journal of Information Management，2017，69（4）：408-425.

[46]Mandel L H，Lemeur K A.User Wayfinding Strategies in Public Library Facilities[J].Library & Information Science Research，2018，40（1）：38-43.

[47]Benbunan-Fich R，Benbunan A.Understanding User Behavior with New Mobile Applications[J].Journal of Strategic Information Systems，2007，16（4）：393-412.

[48]Harle C A，Golembiewski E H，Rahmanian K P，et al.Patient Preferences Toward an Interactive E-consent Application for Research Using Electronic Health Records[J].Journal of the American Medical Informatics Association，2018，25（3）：360-368.

[49]Odukoya O，Chui M A.Retail Pharmacy Staff Perceptions of Design Strengths and Weaknesses of Electronic Prescribing[J].Journal of the American Medical Informatics Association，2012，19（6）：1059-1065.

[50]Berg S A，Hoffmann K，Dawson D.Not on the Same Page：Undergraduates Information Retrieval in Electronic and Print Books[J].Journal of Academic Librarianship，2010，36（6）：518-525.

[51]Stocker A，Richter A，Kaiser C，et al.Exploring Barriers of Enterprise Search Implementation：A Qualitative User Study[J].Aslib Journal of Information Management，2015，67（5）：470-491.

[52]Rutter S，Blinzler V，Ye C Y，et al.Search Tactics Used in Solving Everyday How-to Technical Tasks：Repertoire，Selection and Tenacity[J].Information Processing & Management，2019，56（3）：919-938.

[53]Hahn J，Zitron L.How First-Year Students Navigate the Stacks Implications for Improving Wayfinding[J].Reference & User Services Quarterly，2011，51（1）：28-35.

[54]Branch J L.Investigating the Information-seeking Processes of Adolescents：The Value of Using Think Alouds and Think Afters[J].Library & Information Science Research，2000，22（4）：371-392.

[55]劉姝瑾，郭鹏，王福.基于出声思考法的移动图书馆信息接受障碍研究[J].现代情报，2018，38（11）：25-32.

[56]毕达天，王福，许鹏程.基于VSM的移动图书馆用户画像及场景推荐[J].数据分析与知识发现，2018，2（9）：100-108.

[57]Pennanen M，Vakkari P.Students Conceptual Structure，Search Process，and Outcome While Preparing a Research Proposal：A Longitudinal Case Study[J].Journal of the American Society for Information Science and Technology，2003，54（8）：759-770.

[58]耿骞，杨倩.基于三维模型的网络信息浏览行为及认知影响因素研究[J].图书情报工作，2015，59（15）：87-93，105.

[59]Shiri A，Ruecker S，Bouchard M，et al.User Evaluation of Search ling and T-saurus：Multilingual Thesaurus-Enhanced Visual Interfaces for Digital Libraries[J].Canadian Journal of Information and Library Science-Revue Canadienne Des Sciences De L Information Et De Bibliotheconomie，2013，37（2）：137-160.

[60]Xie I，Benoit E.Search Result List Evaluation Versus Document Evaluation：Similarities and Differences[J].Journal of Documentation，2013，69（1）：49-80.

[61]Eaglestone B，Ford N，Brown G J，et al.Information Systems and Creativity：An Empirical Study[J].Journal of Documentation，2007，63（4）：443-464.

[62]Kattenbeck M，Elsweiler D.Understanding Credibility Judgements for Web Search Snippets[J].Aslib Journal of Information Management，2019，71（3）：368-391.

[63]司莉，贾欢.多语言信息检索平台WorldWideScience功能及测评研究[J].图书馆学研究，2015，（17）：49-53.

[64]Haak M J，Jong M D T，Schellens P J.Evaluating Municipal Websites：A Methodological Comparison of Three Think-aloud Variants[J].Government Information Quarterly，2009，26（1）：193-202.

[65]Han H.Childrens Help-seeking Behaviors and Effects of Domain Knowledge in Using Google and Kids.gov：Query Formulation and Results Evaluation Stages[J].Library & Information Science Research，2018，40（3-4）：208-218.

[66]Pluye P，Grad R，Repchinsky C，et al.Four Levels of Outcomes of Information-seeking：A Mixed Methods Study in Primary Health Care[J].Journal of the American Society for Information Science and Technology，2013，64（1）：108-125.

[67]Xie I，Babu R，Castillo M D，et al.Identification of Factors Associated With Blind Users Help-Seeking Situations in Interacting With Digital Libraries[J].Journal of the Association for Information Science and Technology，2018，69（4）：514-527.

[68]Sanger P C，Hartzler A，Lordon R J，et al.A Patient-centered System in a Provider-centered World：Challenges of Incorporating Post-discharge Wound Data Into Practice[J].Journal of the American Medical Informatics Association，2016，23（3）：514-525.

[69]Xie I，Babu R，Joo S，et al.Using Digital Libraries Non-visually：Understanding the Help-seeking Situations of Blind Users[J].Information Research-an International Electronic Journal，2015，20（2）：23.

[70]Kim J，Oard D W，Soergel D.Searching Large Collections of Recorded Speech：A Preliminary Study[J].Journal of the American Society for Information Science，2005，40（1）：330-339.

[71]Gorman P，Lavelle M，Delcambre L，et al.Following Experts at Work in Their Own Information Spaces：Using Observational Methods to Develop Tools for the Digital Library[J].Journal of the American Society for Information Science and Technology，2002，53（14）：1245-1250.

[72]George C A.Lessons Learned：Usability Testing a Federated Search Product[J].Electronic Library，2008，26（1）：5-20.

[73]高飛，石蕾，王健等.科学数据用户相关性指标研究[J].数字图书馆论坛，2017，（11）：28-34.

[74]Elgllab M F M，Shehata A M K.Information Seeking Behavior in Arabic and English：A Case Study of Scholars at Shaqra University[J].Information Development，2019，35（3）：351-361.

[75]Makri S，Blandford A，Cox A L.This is What Im Doing and Why：Methodological Reflections on a Naturalistic Think-aloud Study of Interactive Information Behaviour[J].Information Processing & Management，2011，47（3）：336-348.

[76]Hauge C H，Jacobs-Knight J，Jensen J L，et al.Establishing Survey Validity and Reliability for American Indians Through“Think Aloud”and Test-Retest Methods[J].Qualitative Health Research，2015，25（6）：820-830.

[77]習近平出席全国网络安全和信息化工作会议并发表重要讲话[EB/OL].http：//www.gov.cn/xinwen/2018-04/21/content_5284783.htm，2021-03-15.

[78]Watson C.An Exploratory Study of Secondary Students Judgments of the Relevance and Reliability of Information[J].Journal of the Association for Information Science and Technology，2014，65（7）：1385-1408.

[79]Makri S，Blandford A，Cox A L.Investigating the Information-seeking Behaviour of Academic Lawyers：From Elliss Model to Design[J].Information Processing & Management，2008，44（2）：613-634.

（责任编辑：陈 媛）