郑慧

一、Explain the validation theory at the conceptual level

1.效度简单地说是指测试的有效性，指测试的内容是不是试题设计者想要测试的，比如测试书写，是不是成功地测试了考生的书写水平。

效度是语言测试中最重要的指标，一份没有效度或者效度很低的试题是没有意义的，而且无论对于题目设计者还是参加测试的考生而言，都是在浪费时间。

2.效度有几个方面：内容效度、理论效度、评分效度。

（1）内容效度（context validity）

①任务布置

a.题目，题目应该没有任何歧义、友好、容易理解、明确、简短、简单。这一点很好理解，如果题目产生了歧义，或者答题者不理解题目，就无法进行有效地答题，什么是有效地答题？答题者能够根据题目回答问题，在这个过程中被测试了题目设计者想要测试的相应的语言的某种能力，才能称作有效答题。所以对题目的设定有基本要求。

b.目的，被测者应该被提供明确的要求，从而他们才能够选择最合适的策略去进行理解和输出。

一个清晰的目标可以帮助被测者设定目标和进行自我监控。

比方说在进行阅读测试之前，知道问题，能够增强学生的阅读注意力以及提高阅读的目的性和计划性。

c.答题形式，多项选择题（MCQ）、简答题（SAQ）。多项选择题不一定能够测试特定的语言能力。

d.已知标准

e.权重

f.问题顺序

g.时间限制

②任务要求

a.写作

b.阅读

c.口语

③设置和测试管理

a.实际条件

b.统一管理

c.保密性

（2）理论效度（Theory-based Validity）

是指测试结果对考生的语言能力及相关的心理机制进行解释的程度。

比如满分10分，A考生3分，但是3分不足以说明考生A的语言能力，说明该测试的理论效度低。

（3）答题形式（Response Formats）

①间接测试类型-选词填空

本来要测试写作能力，题目设计成选词填空从而造成更像是在测试阅读能力。

②直接测试类型-简答题

本来要测试阅读能力，题目设计成简答题从而造成更像是在测试写作能力。

（4）评分效度（Scoring Validity）

实际上是以前所指的信度（reliablity），指的是测试的可靠性。

评分效度体现在：测试复测信度；平行试题信度；内部一致性（分半信度）；评分信度。

所以从测试本身来说：足够的样本、不要给被测者太多的选择、不给有歧义的名词、提供清晰明确的指示、确保试题完整排版和易读性、另候选人熟悉答题形式和测试技巧、提供一致的、不分散注意力的管理环境、尽可能地使用客观的评分细则、尽可能地对候选人进行直接比较。从设计者来说：提供详尽的评分要点、培训评分者、一开始就允许可接受的回答和适当的分数、提出无法区分能力高低的题目、用号码来区别候选人而不是名字、应用多样的独立的评分方法。

二、Explain the validation theory at thepractice level

1.内容效度在实际的应用，简单地说来就是分析一份试卷的分数有没有效。更直白一点就是，这份试卷能不能测试出题人想要测试的考生的能力，以及区分考生的水平。

比如出题人要测试考生口语能力，但是题目是要求考生写作，那么这道题就是没有内容效度的。再者，出题人要测试考生写作能力，给出的写作题目学生无法理解，这套题目也没有内容效度。

2.评分效度是有计算公式的，而且应该注意的参数上述已经提到。

现在市面上大部分都是通过各种测试来筛选和区分人才， 所以效度理论的实际应用范围和方式显而易见。

三、Analyze a self-selected exam task/section/paper with the validation theory

我选择了新HSK口试（中级）测试来分析。

大纲：从新HSK口试（中级）大纲中得到新HSK中级的口语的词汇量约900，代表的是国际汉语能力标准是三级和四级。通过HSK口语（中级）的考生可以听懂并用汉语较为流利地与汉语为母语者进行口头交流。试题数量14，时间约21分钟。采取“听说结合”“读说结合”的模式来考察。

新HSK口试（中级）测试分三部分。

1、听后重复（10题，3分钟）

分析：

1）目的不明确，不知道是在测试汉语语音还是瞬时记忆能力还是汉语听力。在题目中并没有提供评分细则，考生不知道评分细则就不知道侧重点在哪里。

2）题目使用的是汉语，是目标语言，一定程度上是在测试阅读能力。

3）10道题用时3分钟，时间分配不合理。

2、看图说话（2题，4分钟）

分析：

1）这两道题用的图片是一个白人，一个黄种人，没有顾及到种族多样性。

2）题目没有写明准备时間，没有给足够的提示。

3）题目使用的是目标语言而不是考生的第一语言，不利考生。

3、回答问题（2题，4分钟）

分析：

1）题目使用汉语且带有拼音，不知道为什么要这么处理，如果考生不认识中文，看拼音也不一定就能让考生看懂题目。如果担心考生看不明白题目可以直接使用考生的第一语言作为题目而非汉语。

2）题目没有给出任何提示，没有对考生进行鼓励。也没有提醒考生在答题过程中需要注意要点。

3）题目没有给出评分细则，比如对流利度和准确度的评分以及权重如何一概没有提出。对考生选取相应答题策略及答题技巧不利。

4）答题形式上，是根据已经给出的题目进行回答，类似于一个小型演讲，没有提供草稿纸进行梗概的准备，也没有回收草稿纸作为证明考生能力的证据。

5）题目13：题目缺少真实性和针对性，真实环境中，作为成年人，很少谈论我们喜欢和什么样的人做朋友这种话题，这类话题更适合测试儿童，但是儿童一般不需要这种语言测试。

综上所述，从内容效度来看，这个新HSK口试（中级）测试内容效度低，很大程度上并没有考到想考的。从评分效度来看，由于时间有限，无法进行样本测试以及数据收集分析，只能进行初步的估计，我估计该测试的评分效度高。意思是口语没有达到中级的汉语学习者就算进行第二次的测试，也会得到差不多的分数。以及这份试卷没有进行国别化处理，题目全部是汉语，对测试考生口语能力的情况下这样是不公平的。endprint