张双祥

(惠州学院 外语系，广东 惠州516007)

英语写作教学一直是国内大学英语教学的一个薄弱环节，大学生的英语写作能力亟待提高［1］。一方面，学生觉得英语写作很难，对写作有畏难情绪，另一方面，写作教师觉得教学效果不佳，费力教学很长一段时间却看不到学生水平的提高，尤其是作文批改成了他们最头痛的事情。由于学生多，作文批改量大，批改周期长，使得学生英语写作机会相应减少，反过来又制约着学生写作水平的提高［2-3］。在这种背景下，在线写作自动评价(Automated Writing Evaluation;Automated Essay Scoring)系统就应运而生，它的出现大大减轻了教师批阅作文的负担，增加了学生英语写作的机会，受到了广大师生的青睐。

写作自动评价系统进入实际应用阶段至今已有十多年的历史，尽管国内有学者也使用自动评价系统Writing Roadmap 等进行写作研究［4-5］，梁茂成也研制了大规模英语考试作文自动评分系统EFL Essay Evaluator (EEE)1．0［6］，但目前国内使用较多的还是句酷英语作文批改网和冰果英语智能作文评阅系统。

关于写作自动评价系统在大学英语写作中的研究在国内并不多见。唐锦兰等对该类研究做了述评，发现国内这一研究刚起步，偏重于介绍性、探讨性［3］。对于该类系统在课堂教学中的应用和效果的研究比较少见。葛诗利等探讨了大学英语作文自动评分研究中的问题及对策［7］;蒋学清等使用在线英语写作自动评价系统Writing Roadmap 2．0 研究了自动作文评分系统对大学生英语写作能力发展的影响，发现形成性评价方式和具有自动反馈功能的在线写作工具在发展非母语英语学习者的写作能力方面可以发挥积极的作用［5］;石晓玲以句酷批改网为例研究了在线写作自动评改系统在大学英语写作教学中的应用，着重探析了在线写作自动评改系统的有效性［8］;吴一安等研究了融入自动评价系统的英语写作实验教学对高校英语教师的影响，重点关注参与教师在写作教学中融入自动评价系统Writing Roadmap 的体验［4］。本文拟以冰果英语智能作文评阅系统(以下简称冰果系统)为例，研究自动评价系统在写作教学中的应用及其效果。冰果系统目前已在国内几百所高校使用。研究者所在学校已经推广使用一年多，发现它具有在线写作评价系统使用便利、反馈及时、抄袭检测、个性化反馈等功能外，还存在着一些问题。本研究就是为了找出问题，更好地为师生提供服务。

1 研究设计

1．1 研究问题

本研究探讨冰果系统在大学英语写作教学中的应用效果，具体的研究问题是:1)学生对冰果系统的接受程度;2)冰果系统在学生英语写作中应用效果;在哪些方面帮助最大;3)该系统的优点和缺陷;4)冰果系统评阅与教师评阅作文的区别。

1．2 研究对象

本研究选取某大学非英语专业二年级4 个班共计122 名学生参与。要求这些学生每一周完成一篇作文提交冰果系统评阅。

1．3 研究工具

问卷调查。在学生进行了为期16 周的冰果系统写作评阅后发放问卷给学生，共回收有效问卷116 份。该问卷共有28 个问题，涵盖了以下四个方面的内容:1)对自己写作水平的总体评价;2)对冰果系统的接受程度;3)对学生英语写作水平提高的效果;4)该系统的优点和缺陷。

访谈。访谈提纲结合研究问题制定，围绕问卷结果进行。访谈是半开放式的，主要有以下几个问题:你作文中的主要问题是什么;你是否喜欢使用冰果系统;你觉得冰果系统对你写作的帮助有多大;冰果系统与传统的教师批阅相比有哪些优点;你觉得冰果系统还有哪些需要改进的地方等等。研究者对每个班按作文成绩优、中、差三类分别随机抽取3 名学生共12 名学生进行。

作文样本。为了回答第四个问题，研究者在第十篇作文后每个班随机抽取3 篇任课教师评阅作文稿和相对应的系统评阅作文稿，然后将两者对比，主要对比了评分情况、评阅的侧重点和评语。

2 研究结果

2．1 问卷调查结果

关于学生对自己作文水平的评价(表1)，斯科特量表均值是2．69，说明绝大多数学生对自己的英语写作水平的评价是一般及以下，他们对自己的写作水平缺乏信心。其中只有4 人(3．4%)认为自己的写作水平好，有29 人(25%)认为自己的写作水平差或很差。

表1 学生对自己英语写作水平的评价(N=116)

关于英语写作中的主要问题(多选题)，116 人中有71．6%的学生认为自己的作文中语法错误较多，75．9%的学生认为自己的作文词汇是主要问题，相对来说，只有54．3%和49．1%的学生认为作文的结构不合理或思想内容有问题，远不如语法词汇方面的问题严重。

关于学生对冰果系统的接受程度(表2)，斯科特量表均值是3．16，说明绝大多数学生(87．1%)对此持一般或喜欢的态度，其中29．3%的学生非常喜欢或喜欢该系统，有12．9%的学生持完全否定的态度，另外还有57．8%的学生态度为一般，说明他们对系统的效果持观望态度，对系统能否给自己提供真正有效的帮助缺乏信心。

表2 学生对冰果系统的接受程度(N=116)

关于冰果系统效果的评价(表3)，学生的态度与接受程度基本一致，斯科特量表均值为3．18，说明绝大多数学生(87．0%)持一般或肯定的态度，有13．0%的学生持否定的态度。

表3 学生对冰果系统的效果评价(N=116)

关于冰果系统评阅作文的优点(多选题)，76．7%的学生认为冰果系统的评分比较准确，84．5%的学生认为它批改及时，46．6%的学生认可冰果的评语，尤其值得一提的是67．2%的学生认为冰果能够提供同伴的多种版本的范文供自己模仿是其一大亮点。对于冰果系统的最大问题，绝大多数学生(70．7%)认为，冰果提供的反馈比较笼统不够详细明确是最大问题，只有29．3%的学生认为上网不便、不习惯网上写作、费时麻烦或者评分不准确等是其最大问题。

2．2 访谈结果

在受访的12 位学生中，只有2 位作文低分的学生不接受冰果系统并不认可其写作中的效果，他们的理由是冰果系统没有详尽的语法和词汇用法错误的分析和解释。对于这一点，其他受访学生也不满意，但他们之所以支持冰果系统是因为他们非常看重它比较准确的评分和系统，增加了他们写作训练的机会，“我们一学期可以写十五六篇作文，这在以前是不可能的!”另外，他们觉得以同学的优秀作文为范文也使他们有了学习的榜样，更加容易接受。“看到我舍友的作文成了范文，我觉得我也可以!”尤其是4 名作文优秀的受访学生说他们非常看重教师把他们的作文当作范文给同学，这提升了他们的学习信心，每次作文都很用心，所以成绩有了稳定提高。所有12 名学生对该系统反馈中基本不指出语法和词汇的错误不能接受，这也印证了问卷调查的结果。

访谈中作文成绩中或差的学生普遍认为语法和词汇问题是他们作文中的主要问题，但他们对内容和结构不以为然，他们认为自己关键是缺乏英语语言的积累，而他们自信自己的中文的作文还不错。而四位优秀作文学生认为他们的作文仍然不能避免语法和词汇问题，但他们有时候作文不能得高分是结构不合理或内容不佳造成的。

教师评阅和冰果系统相比较，他们觉得前者的劣势是周期长，评语简单笼统，一般只标出错误，所以效果不明显;而后者的优势是评分较准确，周期短，评语详尽，有拼写抄袭检查，可以增加写作训练的机会，但最大缺陷是较少涉及语法和词汇问题。他们认为最好的评阅方式应该是教师当面评改，虽然他们知道这并不现实。他们建议先用冰果系统，然后再由教师人工点评或评阅，如果系统可以做到的话，建议增加学生相互评改的环节，如何把三者有效地结合可能是教师应该考虑的问题。

2．3 作文样本分析

对照12 篇作文的教师批改稿和冰果系统评阅稿，我们发现教师评阅多对错误做出标记，评语也较简单，多为鼓励性的话语，评分基本与系统一致。系统主要标出拼写错误，有涉及词汇、结构、内容等多方面的评语。例如，有同一篇作文，系统打分是12．5 分(作文满分15 分)，给出的评语是“Good job． The language you use in your writing is generally accurate． What I can say is congratulations on a job nicely done with big words and good sentence structures．The topic is very well developed in your essay．”而教师的打分是12 分，给出的评语是“Well done． Keep going like this!”

3 分析与讨论

从上述结果可以看出，学生对自己的作文水平普遍缺乏信心，而且以语法和词汇问题为多。这与前人的研究结果相似［1］［2］［8］。对于冰果系统的接受程度，研究表明尽管只有少数学生持否定态度，但也只有29．3%的学生持肯定态度，大多数学生还是持保留观望态度，这主要是因为该系统的反馈不够清晰，尤其是缺乏词汇和语法的详细反馈所致，当然，还有学生不习惯电脑写作、学校没有提供自主学习中心所以不方便上网等原因。写作自动评价系统“内容太泛，不够具体”而使得学生对系统持保留态度前人研究中也有提及［9］。受试者对于冰果系统的优点的一致观点是批改及时，评分较准确，这也是所有写作自动评价系统的普遍优点，正是这些优点激发了学生的写作兴趣，满足了过程学习的需求，达到了“以评促学”的目的［5］。还有一点值得教师重视，那就是学生对于系统提供的多种版本的同伴优秀范文很感兴趣，它可以使学生学有榜样，赶有目标。此外，冰果系统的较详尽的评语也是其一大亮点。

从访谈中可以看出，学生还是普遍认为系统评阅不能代替教师，还是应以系统评阅结合教师评阅为佳［8］。综合起来，研究认为今后冰果系统评阅作文需要从三个方面加强:一是产品开发技术人员以及语言专家应进一步优化系统，特别是增加较详尽的语法和词汇纠错功能，继续提高系统的信度。二是在结合系统评阅和教师人工评阅方面提供更加人性化友好的操作界面，教师重点把握文章的内容和结构，避免系统明显的评分失误。三是增加在线评价中同伴评价的功能或模式，形成更加开放的、多种反馈结合的评价机制。

总之，冰果智能评价系统总体而言为多数学生所接受且有较好的效果，但仍然有许多需要完善的不如人意的地方。产品开发方应进一步完善优化系统，教师也应该发挥自己的主导作用，创造性地运用系统，通过结合系统评阅、教师评阅以及学生同伴评阅来提升评改效果。

［1］金 艳．标准化语言测试的教学评价功能［C］．在北京交通大学“与专家面对面”活动上的讲座，2010．

［2］张雪梅．大学英语写作教学现状之调查［J］．外语界，2006(5):28 -32．

［3］唐锦兰，吴一安．在线英语写作自动评价系统应用研究述评［J］．外语教学与研究，2011(2):273 -282．

［4］吴一安，唐锦兰．融入自动评价系统的英语写作实验教学对高校英语教师的影响研究［J］． 外语电化教学，2012(7):3 -10．

［5］蒋学清，蔡 静，唐锦兰． 探析自动作文评分系统对大学生英语写作能力发展的影响［J］． 山东外语教学，2011(6):36 -43．

［6］梁茂成．大规模考试英语作文自动评分系统的研制［M］．北京:高等教育出版社，2011．

［7］葛诗利，陈潇潇．大学英语作文自动评分研究中的问题及对策［J］．山东外语教学，2009(3):21 -26．

［8］石晓玲．在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例［J］．现代教育技术，2012(10):67 -71．

［9］Chen E，Cheng E．Beyond the design of automated writing evaluation:Pedagogical practices and perceived learning effectiveness in EFL writing classes［J］． Language Learning ＆Technology，2008 (12):94 -112．