王建

【摘要】本文回顾了国内作文自动评价系统的应用研究成果，指出了该领域存在的不足及未来的研究方向。

【关键词】作文自动评分系统 写作水平 认知研究 自动反馈

国外自动写作评价系统（Automated Writing Evaluation）如Criterion不仅提供及时评分，还从内容、组织结构、词汇及语法方面提供详细的反馈与指导（Dikli，2006），因而被不断应用到课堂写作教学中。国内AWE的应用相对较晚，近年国内有也少数的AWE系统如句酷批改网等被开发出来辅助高校英语教师写作教学。本文对国内AWE研究进行梳理、评述，并指出该领域未来的研究方向。

作者将关键词“在线评估”、“自动作文评价系统”、“写作教学”及“应用研究”输入“中国期刊网”，结合手工检索筛选出的外语类中文类核心期刊论文主要涉及三个研究方向：1）AWE的使用与学生写作水平的关系；2）使用者如何利用AWE及其认知与态度；3）自动反馈（Automated Feedback）研究。

一、AWE的使用与写作水平的关系

此类研究将受试分成实验组与对照组，并利用前测后测来解释这一关系。周颖（2011）以43名英语专业二年级学生为受试，利用WRM 2.0进行了为期一学年的实验教学。前测显示实验组与对照组在总分与各维度（内容、结构等）的成绩无显著差异，后测实验组在各纬度的分数显著高于对照组，得出结论AWE融入写作教学能提高学生的写作水平。此外该研究还指出物理环境（网速慢等）、学术环境（课程繁忙等）和管理環境（缺乏网络教育理念等）三方面的因素可能会影响在线写作水平的发挥。蒋学清等（2011）指出实验组与对照组前测无显著差异，经过一学年的学习，两组受试英语写作水平均有显著提高，后测显示实验组受试在结构、语法、规范及总分维度上显著高于对照组，这说明AWE的融入对提高学生写作能力可以发挥积极的作用。但该研究同时发现WRM 2.0对作文的思想内容、语体、选词和句式变化方面的指导远远不足。唐锦兰、吴一安（2012）将460名受试分为5个实验组和5个对照组，结果显示实验组在各维度的分数显著高于对照组。于莉等（2012）以大一非英语专业学生为受试，采用干预式教学方法，即每次在线写作任务完成后教师就详解系统提供的反馈；前后测使用同一个写作任务。研究表明受试在结构、流畅度、语体和规范方面有较大提高，但在词汇、思想内容方面提高不多。

顾成华、王丽（2012）利用句酷批改网，以114名非英语专业学生为研究对象进行历时一学期的研究。后测显示实验组成绩显著高于对照组，批改网的使用有助于提高学生写作水平。

鲁艳辉等（2010）对80名大二学生进行了为期10周的研究，以冰果自动评分系统为工具。受试被分为男、女生组及高、低分组。研究者从10次写作文任务中抽取第1.5.10次作文进行对比分析，发现所有受试整体成绩有所提高，该系统对于改变学习者的写作策略有一定的促进作用。经过训练，男女生组写作成绩无显著差异，低分组写作水平显著提高。受试在写作篇幅、错误、语言表达、句法、逻辑衔接等方面均有所提高。不足的是该研究没有设置对照组，这就很难说明成绩的提高与AWE的辅助有关。

上述研究结果均较为积极，即AWE的融入有利于提高学生的写作成绩。但该类研究在设计上还存在以下不足。第一，前后测的实施方式有待商榷。若实验组和对照组前后测任务均为在线写作，与写作构念（writing construct）不相关的因素就有可能影响写作成绩，特别是后测的成绩。实验组因受长期训练必定能克服此类障碍，而对照组利用电脑写作次数少，因此在完成与实验组相同的写作任务时会处于不利因素，成绩可能会较实验组低。第二，研究设计中控制变量的阐述不详，如两组受试是否接受同样的教师课堂讲解，写作任务训练的次数是否相等都不得而知。

二、师生对AWE的认知研究

学生对AWE与写作水平关系的认知。多数受试认为AWE提供及时的反馈、增加修改次数、增长作文的篇幅，有助于英语写作水平的提高。同时认为AWE的反馈与教师反馈相结合更有助于写作水平的提高。现阶段的在线写作评价系统允许教师增加反馈并对系统的反馈错误进行纠正，任课教师若能增加适当的反馈，就能提高反馈的效度，对学生作文提供更准确的指导。

学生对评价系统优缺点的认知。问卷和访谈结果显示AWE在文章结构、词汇以及规范方面提供有效指导，评语具有一定参考价值，具有自主性、诊断性、快捷性等特点。学生普遍接受AWE融入英语课堂教学。

同时也指出了AWE的许多缺点。第一，在思想内容、逻辑连贯、文章结构以及遣词造句等方面AWE无法提供有效反馈。需要教师进行在线写作指导，增加遣词造句、思想内容等反馈弥补系统反馈的不足。第二，系统提供的评语流于形式，反馈多为提示性，不够具体，且不能进行个性化反馈，教师应为学生清楚解读在线评价系统的评分标准。第三，AWE没能提供相应的参考范文。在传统写作教学中，教师往往会提供优秀范文供学生欣赏、模仿，让学生发现自己作文不足之处。第四，AWE无法准确评分。

教师对评价系统的认知。教师们普遍赞赏AWE反馈的及时性并能促进学生对作文的不断修改，但同时指出AWE在内容、语体及谋篇布局上的反馈过泛。他们认为在结合AWE的写作过程中，教学应尽量弥补其缺陷，利用AWE进行针对性教学活动。其次，应为学生清晰解读写作标准满足学生的要求。此外，写作教学融入AWE应使评价主体朝着“系统评估+教师评估+同伴评估”三位一体方向发展。AWE的融入应使教师的角色更加多元化，从唯一的讲解者和评价者转为学生的引导者和支持者、教学过程的组织者和协调者等等。这表明AWE的融入使教师对写作教学的观念发生了根本的变化，对写作教学有了新的认识。

以上研究主要采用问卷调查和访谈的形式，涉及师生对AWE及其使用的认知、情感与态度。不足之处在于问卷的设计是否科学、是否具有较高信度，目前这方面缺少一个标准的量表测验师生对AWE的认知态度。

三、自动反馈研究

近年来少数学者开始关注自动反馈（Automated Feedback），对比教师反馈、自动反馈与同侪反馈对学生写作水平的影响，学生对三类反馈的认知态度，学生如何使用自动反馈，自动反馈的类型、精确度等。值得一提的是Bai&Hu（2016）的研究。該研究不仅统计了句酷批改网系统反馈的类型、精确度、学生对反馈的认知，还关注受试如何领会（take up）系统反馈修改作文。但该领域还缺乏历时的个案研究，学生利用自动反馈时的认知过程及心理状态也尚处空白，需要研究者的关注。

四、结语及未来研究方向

本文对AWE国内应用研究进行了综述，指出了研究中存在的不足。未来研究可从以下几方面入手。

第一，研究不同写作能力的学生利用在线评价系统的过程，揭示其使用AWE存在的差异。第二，教师是否充分地挖掘和利用AWE功用，是否存在个体差异等。第三，面对学生质疑机器打分的不可靠性，未来研究应对AWE的评分效度进行全面报道，高效度是AWE融入课堂教学的基础。目前国外有认可度高的效度论证框架（Elliot & Williamson，2013），但尚未受到国内研究者足够的重视。

参考文献：

[1]Bai L.F.& Hu G.W.（2016）：In the face of fallible AWE feedback：how do students respond？，Educational Psychology，DOI： 10.1080/01443410.2016.1223275.

[2]Dikli，S.Automated Essay Scoring[J].Online Submission， 2006，（1）：49-62.

[3]Elliot，N.，D.M.Williamson.Assessing writing special issue： Assessing writing with automated essay scoringt[J].Assessing Writing，2013（18）：1-6.

[4]顾成华，王丽.基于句酷批改网的大学英语写作教学实证研究[J].扬州大学学报（高教研究版），2012，（4）：92-96.

[5]蒋学清，蔡静，唐锦兰.探析自动作文评分系统对大学生英语写作能力发展的影响[J].山东外语教学，201l，（6）：36-43.

[6]鲁艳辉，谭福民，彭舜.现代教育技术智能写作评分系统在大学英语写作中的实证研究[J].现代教育技术，2010，（6）：56-58.

[7]唐锦兰，吴一安.写作自动评价系统在大学英语教学中的应用研究[J].外语与外语教学，2012，（4）：53-58.

[8]于莉，齐品，郭平建.应用数字化写作平台干预大学英语写作教学的研究[J].外语电化教学，2012，（146）：17-21.

[9]周颖.在线形成性评价工具在英语写作中的应用—困难及对策探究[J].现代教育技术，2011，（9）：88-93.