高健民

(浙江大学 外国语言文化与国际交流学院，浙江 杭州 310058)

写作评估是外语教育中的重要一环。随着计算机科学技术的发展，英语作文评分的方式也发生了巨大改变。系统自动评分的方式不仅弥补了人工评分成本高、效率低的局限，还提高了作文评分的信度，减轻了由于人工阅卷员评分标准不一致造成的偏颇。一些自动评分系统不仅可以给作文提供一个整体性的分数，还能同时呈现关于作文语言质量的反馈，这些优点使得作文自动评分系统不仅被广泛应用于各种英语考试中，许多英语教师也将其应用在课堂测试的评分上。然而，即使作文自动评分系统在评估学生的写作能力方面有着很多优势，对其评分可靠性和有效性的争论却从未停止过。此外，由于这些评分系统往往缺乏评分过程上的透明性，直观感受其评分效果十分困难。因此，对于作文自动评分系统评分质量的定量分析是十分重要的。

一、文献综述

从理论的角度，一些研究者提出了对于作文自动评分系统评分质量进行评估的必要性以及需要考虑的因素。例如，Xi系统性地提出了作文自动评分系统评分过程有效性的问题，主要对使用作文自动评分系统是否会引起构念无关因素或造成构念代表性不足的问题进行了讨论，还指出研究系统自动评分结果与其他非测试得分类指标的一致性至关重要。[1]Deane也讨论了采用系统自动评分方式对构念效度的影响，指出作文自动评分系统所能测量到的写作技能是有限的。……