吴智泉　张公鹏

摘    要：“大学生学习评价”（CLA+）测评大学生批判性思维、分析推理、书面沟通等能力，测评结果成为展现一所大学教育质量、教学管理水平、学生能力的一个独立坐标系。不仅可以指导学校改进教学，而且能在国际间高等教育能力测试比较和大学生就业招聘等方面运用。在评价标准的制定中，CLA+题目使用了扩展的安格夫法和书签法，科学准确评价学生的总体表现。CLA+测评不仅在测评题目设计本身值得借鉴，同时测评结果解释的可靠性和有效性也应重视。

关键词：CLA+;评价;批判性思维;方法;应用;标准

中图分类号：G640          文献标识码：A          文章编号：1002-4107（2019）04-0011-05

2000年，美国教育补助委员会（Council for Aid to Education， CAE）成立“大学生学习评价”（Collegiate Learning Assessment，CLA）研究机构，其目标是促进教学、衡量大学的绩效以及评价学生高阶思维能力的发展[1]。在迎来十年的发展里程之际，2014年美国教育补助委员会（CAE）在原来测评方案的基础上，开发推出了CLA+。CLA+和CLA是同一种测评工具不同时期的版本，变化显著，为了保持一定的延续性和区别，美国教育补助委员会（CAE）将2014版大学生学习评价简称为CLA+[2]。新版本CLA+是一种创新的评估测量工具，不仅可以进行院校层面的比较，还可以对大学生个人的批判性思维和书面交流等能力做出分析评价，并给出成绩。

一、大学生学习评价工具（CLA+）升级原因

美国教育补助委员会（CAE）升级CLA+，主要是基于以下考虑。

（一）时代的需求

全球化背景下，高等教育要不断提高服务经济社会发展能力，不仅培养各种各样的专业人才，而且需要培养学生的核心能力，因此批判性思维的训练和培养比以往更加重要;同时，直面无尽的信息世界，学生必须学会收集、分析和评估哪些信息是有效的，哪些信息是无效的，这越来越成为在今天信息世界中生活、学习、工作的必备技能。CLA+使用贴近现实的问题测量评价批判性思维，其结果有助于引导高校关注了解这些思维技能，并促进学生分析、凝练、归纳信息的能力和技巧[3]。

（二）展示学校教学成果，回应社会对高校教育质量的关切

CLA+可以向社会更全面地展示出学校课程及教学的质量和特点，提供给学生及家长们更具说服力的信息，如展示毕业生的就业能力等。

（三）利于教学效果研究，推动教学改革

相对于CLA，CLA+更加重视课堂教学的效果与提升，更认同教师在大学教育中的作用。CLA+通过评估学生能力，分析与展现一所学校通识教育、课程改革、教育创新等方面的成果和进步，也包括问题与不足，这有助于学校开展更有效的教学改革。

（四）对学生能力进行评估

CLA+测量不同于学校专业课考试，其重点在于帮助学生和学校了解在批判性思维方面的水平和差距，并形成成绩凭证;对于取得CLA+熟练等级的学生，这样的能力凭证会帮助他们就业。通过改进题型结构、优化精选题目、科学制定成绩标准，对成绩的评判更加全面，并更适合成绩比较。

在芝加哥大学出版社2014年出版的Aspiring Adults Adrift一书中，对超过一千名在大学里选择CLA+的应届毕业生进行追踪调查。该研究发现，在CLA+测试中成绩更好的学生，其职业生涯早期挫折的可能性较低。这本书证明CLA+所关注的能力对一个毕业生职业生涯的成功是至关重要的[4]。

（五）利于CLA+成绩的国际比较

美国教育補助委员会（CAE）和经济合作与发展组织（Organisation for Economic Co-operation and Development，OECD）合作开展CLA+国际合作项目，相对于传统CLA版本，CLA+在测量的科学性和有效性方面更有优势，能更好地满足经济合作与发展组织（OECD）开展国际测量工作的需要。

2008年，经济合作与发展组织（OECD）开始评估是否能开发一个国际通用的测量工具，即高等教育学习成果评估（AHELO）计划。经合组织领导人声称结果将实现以下目的：大学能够评估和改善他们的教学;学生能够对学校做出更好的选择;提高高等教育经费的使用效益等[5]。为此，组织者开发了若干所谓的“链”，最重要的一个是“通用链”，而“通用链”目前正是依托 CLA+测量方案。参与测评的国家通过CLA+进行通用能力的测试，可以进行国内教学情况的诊断，以及国际间学生能力的比较。

二、CLA+版本的主要变化

传统版本只有表述类题型，CLA+结合了选择类题目与表述类题目，对题型进行了重组，提高了测试标准化程度。CLA +保留了原版本新颖、独到的测评特点，如表现性任务（Performance Task）测量方法与题目结构与之前基本保持一致，仍是侧重评价学生分析和解决问题、写作技巧等能力，但在原始概念和评估重心方面进行了改进。在CLA+前60分钟的测试中，学生回答表现性任务题型，模拟解决现实问题。测试题目一般会提供学生三个或三个以上文件，如数据表、图表、文章、研究报告或其他信息资料，这些信息学生通常会在工作或学习环境中遇到。测试要求学生进行批判性的阅读和分析文档信息，然后写出一个书面报告或回应。学生对表现性任务的问题场景做出分析，并从文章中梳理证据，或被要求反驳某方论点。

CLA+新增加了选择型题目（Selected Response Items，SRIs），通过多种题型，更全面的评价定量分析和解决问题的能力;这些新增题项，都是以真实场景或问题为素材。CLA+最后30分钟测试，由3组共25个选择题目组成：10道科学和定量推理題，10道批判性阅读和评价题，5道驳论题;如表现性任务一样，每组问题来自一系列文章，需要学生仔细分析和评价信息[6]。每一个测评点，学生需要回答两个以上的问题，这些问题考查同样的能力结构（如推理和解决问题），这提高了学生分数的信效度。CLA+更加注重考察素养而不仅仅是数学计算，例如学生可能会认识到，两个变量之间的相关性并不意味着因果关系，这需要学生确定问题中定量数据之间的联系或冲突关系等，并根据数据做出推断。CLA+与CLA的比较见表1。

三、实现测评结果的校内外应用

（一）着眼于提升课堂教学效果

CLA+的主要目标是提供对学生批判性思维的客观评价，并记录和了解他们在大学期间能力的变化。CLA+保留了以往版本中院校间成果数据比较的功能，并使大学生有机会展示个人批判性思维和书面交流等技巧，设计理念上承接以学生为中心和重视价值增值理念，并进一步发挥在课堂教学、社会应用等方面的作用。

CLA+不只限于对高校进行问责或绩效考评，还注重促进教师教学和提高学生学习效果。与其他一些第三方评价工具比较而言，其评价重点回到促进学校和学生发展上面。以CLA+测验结果为评价基础，并把评价结果有效地反馈到教学中，从而教师的课堂教学能够更有针对性地帮助学生学习和提高能力。该评价理念体现了教师在教学过程中起积极作用的思想，这与一些过度强调学生自学的观念不同。基于以往大学生评价的研究经验，CLA+并不否认校园环境及学生个体特征等因素对学生发展的影响，它只是进一步缩小了影响因素的范围及强调了学生发展的具体表现。

正如韦伯所言，“材料的选择包含着一种评价”[7]。CLA+把课堂或学习中的一些材料作为测试的资料来源，通过挑选测试素材等方式，把课堂教学和学生学习恰当地结合起来，最终通过测评结果来反馈分析学生能力水平。 CLA+认为大学课堂教学作为一种可控因素或变量应该成为影响大学生发展的主要因素，尽管其他因素也有影响，但是它们往往难以控制，故应注重开发课堂教学潜力。

（二）实现测评结果的社会招聘应用

以CLA+测试为基础的CLA+ CareerConnect，是测评技术与社会需求结合的范例。CLA+提供了CareerConnect方式，具有有效和经济的特点，方便企业招聘和学生求职，使招聘工作更加“客观和标准化”。CLA+ CareerConnect虚拟招聘会用于克服招聘中的“能力盲区”，为企业提供准确的毕业生信息。学生以透明和公平的方式参加CLA+测评，以测评结果作为参与竞争的参考[8]。参考CLA+测试结果，可以改善学生、院校和雇主之间的沟通效率，提高工作质量或效果。

美国哈特研究公司调查“提高门槛：雇主对大学学习的看法”，对于应届毕业生，企业雇主们认为会越来越被强调的技能及其比例是：有效交流的能力89%，批判性思维和推理能力81%，运用知识和技能解决实际问题能力79%，解决复杂问题的能力75%。雇主们挑选候选人的时候，目光聚焦在能力上面，而不只是院校的名声。

在CLA+推出以前，没有公认的、可靠的学生能力测试作为招聘的直接依据，大多数雇主依靠面试做出是否雇用的最后决定。作为招聘过程的一部分，他们经常会测试申请人的关键技能。CLA+填补了这一空缺，对于一个参加CLA+测试的毕业生，这个测试结果可能会帮助他在竞争日益激烈的就业市场中获得就业机会。CLA+ 推出CLA+CareerConnect模块作为招聘工具，如同一个虚拟招聘会，是在CLA+测试结果的基础上，根据企业雇主需求而设计的，有助于克服招聘中的“能力盲区”。 那些在CLA+测评中获得高分的学生参加这个虚拟招聘会，将有更多就业机会。2015年4月，该类招聘会在德克萨斯州进行了试点。

从学校的角度讲，这是一条为学生提供就业服务的新途径。CLA+测评技术与市场需求的巧妙对接，是符合学生、学校、企业及社会多方愿望的有益尝试。未来CAE将与数百名参与CLA+项目的高校管理领导人合作，建立大型的优秀人才的候选人池，并建设迭代的CLA+ CareerConnect，该过程将对接企业组织和政府的专门工作委员会。CLA+测试工具虽然收取一定的费用（2015—2016年每个学生收取35美元），但是对于学生求职、企业招聘、大学的教学改革与发展都显现出价值，而且已经被实践和反馈数据所证实。

四、测评标准制定方法科学严谨

CLA+另一个突出的特点在于测评分数制定方法及标准的科学严谨。表述类及开放类题目极易受到诟病及质疑的原因在于分数评价的不稳定性。对于一个题目的回答结果，评价标准的分界点位置总是涉及主观判断，而好的技术方法，则有助于产生好的判断，避免偏差，从而提高测验的准确性。

（一）广泛借鉴各类标准制定方法

早期许多行之有效的标准制定技术，如Angoff法（1971）、Ebel法（1972）等，这些方法更适用于选择题型，而不太适合表述型题目。书签法在一定程度上同时适应选择题和表述型题目特点，也减少了Angoff方法中对于评价者高认知的要求。书签法的典型特征是按难易程度给项目小组展示，小组成员放书签在临界合格者（MCP，Minimally Competent Person）所能完成的题目上。因为题目按难易排序，小组成员不需要估算每个题目临界合格者所答对的概率，使得评判者的认知负荷降低。主要分数标准制定方法见表2。

工作体方法（Body of work）的评判者检查每个学生的整体回答（包括选择题项和表述型题项），把每个学生的总体表现分类（或排序）成不同表现层级。类似于书签法，学生回答可以按整体成绩从低到高排序。其他常用的表述型测验的方法还有分析判断法（Analytic Judgment）。这种方法的评判者将学生的应答分类，对应各种水平标准，与工作体方法不同，在每个表述型题目和选择题目中学生的表现，是分开评判的[9]。

CLA+题目中同时包含选择题和表述型题，在评价标准的制定中，使用了扩展的安格夫法（Extended Angoff Method）和书签法（Bookmark Method）[10]。这些方法，保证了对测试结果解释的准确性，而这种准确性的基础在于测试评价方法和标准的可靠性与有效性上面。

（二）科学评判学生水平

CLA+选择题得分由作答正确的题目个数和题目难度系数构成，并可以方便地计算各题的平均数和标准差，而且可以和其他测验方法进行结果比较。表述型题目通过若干专家小组按照书签法划定的几个层次进行评判：基本、熟练、精通、高级，每个层次描述出学生应掌握的相应水平。

这些专家小组的讨论结果显示，评判专家必须阅读大量的学生答案才能获得足够可靠的评判水平，而这可能转化为可观的时间量， 对评判人也有较高的要求。实际上，这些测验方法的功效需要更多的研究，也需要有新的方法或变体出现，丰富和提高测试标准的制定技术。

专家小组依据CLA+测评的目的，以及各层次学生的知识、能力的表现展开讨论，意见一致后进行描述概括，见表3[11]。

学生参与CLA+测试成绩，对应表格中的各个层级。学校之间可以据此了解学生的知识、能力的发展状况，并采取相应的教学措施。每个学生将获得自己的成绩证明，这些体现个人批判性思维等能力的成绩证明是学历学位证书的重要补充，将在就业求职中发挥作用。

五、对我国构建学习成果评价方法的启示

（一）题目设置科学，评价标准严谨

CLA+方法在素材资料选用、题型结构设计、评价标准方面都发生了新的变化， 测评形式向混合化发展，这使得测试结果更为可靠和准确。

CLA+的测试题目与分数标准之间，建立了批判性思维等能力发展水平的对应关系。CLA+题型中，表述型题目的开发设计是突出特点，一个表述型题目具有更佳的开放性和更好的真实性，而开放式的应答模式有更好的忠诚度（fidelity）[12]。忠诚度成为一个关键的CLA+设计特点。

诺里斯（Norris，S.P.）指出 ，“只是拥有批判性思维能力不能算作有足够的教育素养，能力必须恰当地使用”[13]。表述型题目答题形式强调在一个模拟的现实世界的场景下的执行，其目的并不是衡量一个一维的构造。相反，CLA+表述型题目测量几个相互依存的结构，要求学生应用思维能力的几个方面，包括批判性思维、问题求解，分析推理、书面沟通技能等，作为回答问题的基础，该题型设计有助于考察他们在现实环境中的执行能力。

CLA+在题型上除了表述型题目外，还增设了选择型题目。从十年前推出CLA时全部都是表述型题目，发展到今天的表述型题目与选择型题目的混合结构，这不是倒退，而是一种发展，是对考试特点、评价方法、评价标准、社会需要以及未来发展的综合考量与取舍的结果。

CLA+分数标准制定方面亦给我们提供了良好的模式与方案。科学建立测评标准获得了学校和教师的认可，提升了对学生批判性思维等能力的评估效果和公众信心。

（二）加快发展评价理论和技术

美国的第三方评价组织多、测评工具丰富，如CLA+、CAAP、EPP、NSSE等，都是一些具体实用的评价方案。这些评价方法和技术经过近些年的发展，日臻成熟和稳定，成为美国高等教育质量的重要保障。而先进的理论与技术背后，是美国几十年甚至上百年以来，所积淀的大量教育理论成果与实践经验。我国清华大学引进的NSSE测评工具，经过汉化以后，形成中文版的测评工具NSSE—China，该工具已经在我国各类型高校中得到应用，并初步成为一些高校教育教学自评诊断的参考。北京航空航天大学课题组对ETS 能力水平测试（ETS Proficiency Profile，EPP）也开展了汉化研究工作[14]。虽然中美两国文化背景差异巨大，然而“大学作为高等教育组织是嵌入其所在社会文化体系中的……”[15]评价工具本身所依据的教育理论具有规律性、普适性，本土化后其信度、效度基本保持了一致，这为借鉴开发其他测评工具起到了良好的示范作用。

参考文献：

[1]Klein，S.，Benjamin，R.，Shavelson，R.， & Bolus，R.（2007）.The Collegiate Learning Assessment： Facts and Fantasies[J].Evaluation Review，（5）.

[2]吴智泉.美国“大学生学习评价”（CLA）的特色与启示[J].黑龙江高教研究，2015，（3）.

[3]Why CLA+[EB/OL].[2016-08-01].http：//cae.org/flagship-assessments-cla-cwra/why-cla-and-cwra/.

[4]Richard Arum，Josipa Roksa.Aspiring Adults Adrift：TentativeTransitions of College Graduates[M].Chicago：University of Chicago Press，2014：17-18.

[5]John Douglass，Gregg Thomson，and Chun-Mei Zhan. Searching for the Holy Grail of learning outcomes，Inside Higher Ed[R].[EB/OL].[2016-08-01].http：//www. Insidehighered.com/blogs/global-highered/searching-holy-grail-learning-outcomes#ixzz2oPSpV8XW.

[6]CLA+ Overview[EB/0L].http：//cae.org/participating- institutions/cla-institution-users-portal/cla-overview.

[7][德]马克斯.韦伯.社会科学方法论[M].李秋零，田薇，译.北京：中国人民大学出版社，1999：118.

[8]CareerConnect：Lessons Learned and the Road Ahead[EB/0L].[2015-05-16].http：//cae.org/cla-career-connect /what-is-cla-career-connect.

[9]李珍，辛涛，陈平.标准设定：步骤、方法与评价指标[J].考试研究，2010，（4）.

[10][11]CAE.Standard-Setting Study Final Report[EB/OL].[2015-06-08].http：//cae.org/images/uploads/pdf/cla_ss.pdf.

[12]Hersh，R.H.，Life Isnt a Multiple Choice Question[EB/OL].[2014-08-16].http：//cae.org/content/pdf/Her-shLifeIsntAMultipleChoiceQuestion.pdf.

[13]Norris，S.P.，“Can we test validly for critical thinking？”[J].Educational Researcher，1989，（18）.

[14]趙婷婷，杨翊，刘欧，等.大学生学习成果评价的新途径 ——EPP（中国）批判性思维能力试测报告[J].教育研究，2015，（9）.

[15]罗燕，海蒂·罗斯，岑逾豪.国际比较视野中的高等教育测量——NSSE-China工具的开发：文化适应与信度、效度报告[J].复旦教育论坛，2009，（5）.