面向中国学生的英语书面语动词形式错误自动检查
——基于链语法的研究
2017-03-12梁茂成
陈 功 ，梁茂成
(1. 对外经济贸易大学 英语学院, 北京 100029；2. 北京外国语大学 中国外语与教育研究中心, 北京 100089)
0 引言
对自然语言中错误的自动检测是计算语言学研究领域的一个重要课题。已有英语错误检测系统大多以本族语者为目标用户[1-5]，只有少数系统专为中国学习者设计[6-8]；因受各方面因素制约，学习者错误检测系统可获得性较差，系统查错性能和实用性也有待进一步提升[9]。Chan[10]调查发现，中国香港学生作文中至少有50%以上的语法错误为动词或动词相关错误。鉴于此，本研究将以动词形式错误为着手点，致力于开发一个以中国英语学习者为目标用户的、查错性能较好的英语动词形式错误自动检测工具。
本研究所关注的动词形式错误指： 句子中实义动词与左右两边的单词在语法结构关系上的错误，包括主谓一致错误(*helikeit.)、助动词与谓语动词一致性错误(*Wemustgetting…)，以及补足成分错误(*Theyenjoytohave…)等。
国外针对动词形式错误自动检查的研究不多，只有Lee和Seneff[11]汇报了动词形式错误检查的实现方法及系统的查错性能。为避免动词形式错误干扰词性赋码和句法分析，研究者尝试在训练语料中人工加入错误的办法。结果显示，系统对主谓一致错误检查的准确率和召回率较高，分别为83.93%和80.92%；助动词一致性错误和补足成分错误检查的准确率为80.67%，召回率则较低，仅为42.86%，有待进一步提高，而且人工加入错误的方法也有待商榷。另外，在众多自动语法检查研究中，很多研究并未直接表明可以对动词形式错误进行检查，但是对于很多通用型语法检查系统来说，动词形式错误始终是一个无法回避的问题，尤其是句法错误检查相关研究。“不幸的是，这些研究没有单独报告动词形式错误的检查结果”[11]。国内错误检查相关研究多侧重于中文文本自动校对[12-14]和少数民族语言的拼写检查[15-16]等。对学习者英语书面语的研究多集中于作文自动评分方面[17-18]，未见有专门针对动词形式错误的自动检测研究。
为构建一个性能较好的动词形式错误自动检查系统，本研究将以型式语法(pattern grammar)[19]为理论基础，采用链语法(link grammar)[20]形式化语法体系对自然语言中的动词型式(verb patterns)进行形式化，对链语法分析器(link grammar parser)中的语法规则和词库进行优化和扩充；同时结合中国大学英语(CET)四六级和专业英语(TEM)四八级考试大纲要求掌握的动词(简称“大纲动词”)，对链语法分析器中的词库进行补充和调整，以更好地为中国的英语学习者服务。
1 自然语言模型和形式化语法体系
1.1 型式语法
型式语法的产生源自Collins COBUILD项目，经过不断完善，形成了覆盖动词、名词和形容词三大词类的型式语法体系。目前，型式语法研究成果主要表现为Francis 等[21-22]编写的两部型式语法系列： 第一部为动词型式语法，第二部为名词和形容词型式语法。目的是描写“Collins COBUILD English Dictionary”中所有词项的所有型式，并列出共享同一型式的所有词项。之后，Hunston 和 Francis[19]出版专著PatternGrammar，进一步将型式语法成果进行了阐释，提出了理论主张，完成了型式语法理论化的工作。
和传统语法书或词典中的语法标注相比，型式语法对型式编码的设计进行了较为大胆的改革，基本上抛弃了采用语法功能标签，如vt.(及物动词)、V+O(动词+宾语)等作为语法编码的做法。取而代之的是一串字母加具体单词或相关说明文字的组合，例如，V nasn，其基本要素可以分为三个部分。为了便于形式化，本研究将三个部分分别称作： 核心词项、补足成分和其他成分。其中，核心词项(V)是构成型式最为关键的要素，是任何型式都不可缺的成分；补足成分和其他成分则根据语言的不同使用规律附加于核心词项，或为具体单词(如： Vso/not,“Ihopeso.”)，或为成分说明(如：Vnto-inf，“Ineedyoutobethere.”)。在动词型式语法中，Francis 等[21]主要探讨了85个常用动词型式，29个it相关的动词型式(含11个大类)，2个there相关的动词型式，还对系动词(link verb)、相互动词(reciprocal verb)、作格动词(ergative verb)等常用型式和型式组合做了详细说明。这些动词型式共同构成了本研究的自然语言模型。
1.2 链语法
链语法是一种“具有强烈词汇主义倾向”[23]的形式化语法体系。链语法非常重视单词特性，“一部链语法就是一个单词(语法的终极符号)的集合，其中，每一个词都有一些特定的链接要求”[20]。图1表示的就是单词a, the, cat, snake, Mary, ran 和 chased的链接要求，每个单词上方所示的不同几何形状被称为链接子。将这些单词组成的句子输入链语法分析器，系统会自动寻找每一个单词的链接子，并根据各自要求找到另一个能够与之相匹配的链接子。若句子能以图2所示的情况链通，即说明单词的链接特性得到了满足，且该句子合乎语法。若句子错误，无法链通，链语法分析器则会标出无法链接的单词。本研究就是利用该原理实现动词形式错误的检查。
链语法是陈述性语法，即承载语法信息的链语法词典和用于分析输入语言的链语法分析器是相互独立的。“句法分析程序只有在运行时才读入链语法词典，并根据词典中的语法信息对输入语言进行分析。程序对链语法词典进行穷尽式的搜索，以找出输入句子的全部分析方法”[20]。这种“语法-算法”分离式的形式化语法体系方便我们根据研究需要对链语法词典进行改编或重构， 为本研究构建专门用于中国学生的错误检查系统提供了可能。
图1 链接子(链接要求)的形象化表示
图2 单词的链接要求得以满足
尽管链语法在句法分析方面有优势，但是链语法对单词特性的描写并不是来自语言学家的研究，因此在语言知识的构建方面存在先天不足。例如，单词分类较为粗糙，动词只按及物性划分，名词只按数的特征来划分，划分标准单一，忽略了词汇其他方面的特征和用法，不利于深入分析语言细节。以动词为例，链语法词典将其分成了四大类： 及物动词、不及物动词、可兼作及物和不及物的动词，以及转述动词。其中，及物动词文件一共包含2 473个动词，也就意味着，两千多单词的链接要求是由以下两个简单的链接子表达式集体定义的：
动词的用法非常丰富，即便这些动词确实有典型及物动词的一面，也不能将其一概而论，给它们简单地画上等号，而忽略个体行为差异。链语法词典对动词语法行为划分的简单粗略，为我们改造链语法动词词典提供了较大空间。
2 研究设计
2.1 研究问题
本研究主要回答以下三个问题：
(1) 以语料库为基础的型式语法理论中的动词型式是否可以有效扩充链语法词典中的实义动词知识？
(2) 重构后的链语法动词词典是否可以用于中国学生英语书面语动词形式错误的自动检查？
(3) 与原链语法词典相比，重构后链语法动词词典的查错性能是否有明显提高？召回率和准确率如何？
2.2 研究流程
本研究提出的动词形式错误检查系统的构建分为四个步骤： ①动词型式语法形式化准备，包括动词提取、文本整理、屈折形式转换等。②大纲动词处理，包括大纲动词的提取、型式归类、加入链语法词库等。本研究所参考的大纲词表提取自《大学英语课程教学要求》[24]和《英语专业四、八级词汇表》[25]。③动词型式语法的形式化，包括动词型式形式化预处理、链语法词库调整、规则编写等。④重构后词典测试，包括测试语料确定、预处理和正式测试，最后报告测试结果。
2.3 研究工具
主要工具分两大类： 文本处理工具和链语法规则编写辅助工具，包括用于文本整理的EditPat Pro、PowerGrep；用于转换动词屈折变化和添加动词标注的自编Perl程序；用于测试语料词性赋码以确定动词位置的TreeTagger 2.0；用于测试语料预处理的Corpus Processing Toolkit；用于链语法规则编写的辅助软件Link Grammar Toolkit；在Windows环境下用于链语法新规则测试的工具Winlinkgrammar。
3 链语法动词词典的重构
将所有型式语法中的动词和大纲动词进行处理，并加入链语法词典后，我们需要根据链语法形式化体系对动词型式进行形式化处理，将动词型式转化为链语法规则。
3.1 动词型式的形式化预处理
3.1.1 核心动词和成分说明的形式化
在动词型式语法的编码中，核心动词和成分说明编码的颗粒度比较大。例如，“V”指的是一个完整的动词短语，而在这个动词短语中，可能还包含了副词短语、介词短语等修饰成分。显然，这样的动词型式编码并不符合形式语法体系严密、规整的基本要求，也不符合链语法对每一个词的链接特性进行记录的要求。在这种情况下，如果只按动词型式的编码所呈现的表层所指进行形式化，就无法为计算机提供足够的自然语言知识，也势必会影响到最终语言检查的结果。因此，本研究首先要对颗粒度较大的编码进行语言细节还原，并编制相应的链语法表达式。对动词成分进行细节还原的主要依据是语料库观察。本研究采用BNC在线语料库，通过基于词性赋码的检索方式得到各个动词型式编码的索引行。根据型式语法中动词型式的表述，颗粒度较大的编码共有九大类，包括动词类(v)、名词类(n/pl-n)、形容词类(adj)、副词类(adv)、介词类(prep)、非谓语动词类(-ing/-ed/to-inf/inf)、小句引导词类(that，wh，wh-to-inf)等。限于篇幅，本文仅选取部分主要编码做形式化示例(见表1)。
表1 部分词类与核心动词关系的形式化示例
3.1.2 具体词项的链名设计
除上述编码外，动词型式还包括一类特殊成分，即具体词项，主要包括与动词共现频率较高的介词、副词、连词，还有it和there。这些具体词项肩负了表现动词表层行为的责任，是动词型式语法的一大特色，也非常契合链语法的词汇主义要求。但是，在目前的链语法词典规则中，只有为数不多的链名可以体现动词与具体词项之间的高度共现关系。例如，TO链可以表示动词try和to之间的特定链接关系，OF链表示动词accuse和of之间的特定链接关系，等等。除此之外，链语法并没有进一步区分动词后的修饰成分是否是动词要求的固定成分，而是一律采用了较为笼统的链名——“MV”(动词修饰成分)来表示动词及其后置介词短语之间的链接关系。显然，这样笼统的概括很难体现型式语法对动词表层行为的详细描述。
本研究提出的改进方法是： 为动词型式语法编码中的具体词项设计具体链名，以反映核心动词与具体词项之间的链接关系，并将其添加在链语法词典中。这部分词汇数量有限、用法有限，因此具有可操作性。具体来说，本研究采用词项本身的拼写(或简写)做链名(见表2)，以方便用户的识别。
表2 动词型式中具体词项的链名设计示例
3.2 型式语法中的动词在链语法词典中的定义
完成型式语法动词的添加及预处理后，本研究需要将动词型式所要表达的动词行为转化为链语法分析器能够调用的规则。
编写链语法表达式一方面需要对动词型式的每一个成分做形式化处理，另一方面还需要考虑动词使用的具体情况。例如，主句中的动词向左通常会和主语相链接(e.g.TheDOGwechasedISblack...)，而从句中的动词向左一般是和先行词相链接(e.g.TheDOGweCHASEDisblack.)。这些情况都需要通过链语法表达式进行描述。以动词型式文件“V_n_to_inf.1”的规则“
表3 动词型式文件“V_n_to_inf.1”规则分解说明
这四个部分通过“&”(和/且)组合起来，构成了动词型式文件“V_n_to_inf.1”中所有原形动词的基本用法。同一动词型式下，其他屈折形式文件的链语法表达式基本相同，不同的语法特征通过增、减相关链语法表达式进行描写。
3.3 其他方面调整
在规则添加过程中，本研究对链语法词典的其他部分进行了相应调整，以满足新编写规则的匹配原则，以及链语法分析器对单词唯一性的要求。主要包括以下两方面：
(1) 为动词型式语法下的具体词项编写链语法表达式。为满足动词型式的形式化要求，本研究为具体词项设计了新的链接符号(如表2所示)。这些新设计的链接子不仅要写入动词规则中，还要写入具体词项的规则中，以实现核心动词与具体词项的匹配。例如，“about.pg”规则为“ABOUT- & (J+ or Mg+ or QI+ or ())，表示“about”向左需要与带有“ABOUT+”链的动词相链接，向右可以和名词短语(含代词)(J—)，或动词ing形式(Mg—)，或疑问词(QI—)，或一个空位相链接。
(2) 为链语法词典中部分词项添加区分下标。为了区分词典中原有词项和新加词项同形单词(如 in等几乎所有的介词)，本研究为新加具体词项添加单词下标“.pg” (pattern grammar的简写)，为原词典中同形词添加下标“.lg”(link grammar的简写)，以示区分。通过这些下标，不仅可以满足链语法分析器对单词唯一性的要求，还可以很快地从分析结果中看出链语法分析器到底调用了哪一个词条。
4 重构后链语法动词词典的测试
4.1 测试语料及预处理
本研究所采用的测试语料由两部分组成： ①中国学习者英语书面语动词形式错误句集(简称“学习者错句集”)，用于考察系统对学习者动词形式错误的检测能力；②英语本族语者书面语正确句集(下文简称“本族者句集”)，用于考察系统对于正确句子的分析能力。两部分语料均以整句为单位，各一千句。学习者错句集全部来自中国学习者英语语料库(简称“CLEC”)[26]；其中，600句来自ST3-4，400句来自ST5-6。本族者句集全部来自GrammarPatterns：Verbs[21]一书的例句，这些例句均取自“Bank of English”语料库。
对测试语料进行预处理，主要是为了保证链语法分析器在处理测试语料时，能够准确调用本研究所添加的动词规则。由于两部分测试语料的来源不同，因此其处理的方法、步骤和难易程度也有所不同。本族者句集的预处理只涉及语料分词，而学习者错句集的预处理则进行了分句、分词和拼写检查。
4.2 评价指标
本研究主要通过计算召回率和准确率对测试结果进行评价。召回率衡量的是链语法分析器在测试语料中究竟能够检查出多少个真正包含动词形式错误的句子；准确率衡量的是在系统检测出的所有错句中，究竟有多少个句子确实有错。
4.3 链语法动词词典的测试
如表4所示，调用原链语法词典时，对于学习者错句集，系统准确检查到确实存在动词形式错误的句数为571句；漏查错句数为429句。对于本族者正确句集，系统正确分析827句，173句被误判为错句。结果显示，原词典对测试语料错句检测的召回率为57.1%；准确率为76.7%，即在检测出的所有错句当中，确实存在动词形式错误的句子占76.7%。
表 4 链语法词典动词形式错误检测结果
在调用重构链语法词典时，系统能够准确检查到确实存在动词形式错误的句数为616句；漏查的错句数为384句。分析本族者正确句子时，能够正确分析949句，仅有51句被误判为错句。结果显示，重构后的链语法词典对测试语料中错句检测的召回率为61.6%，比原词典提高了4.5%；准确率为92.4%，比原词典提高了15.7%。
从实验结果来看，重构后的链语法词典在错句检测的召回率和准确率方面都比原词典的性能要好。召回率提升的幅度不大，但是准确率的提高非常明显。Vandeventer Faltin[5]，De Felice & Pulman[27]指出，对于学习者语法检查系统来说，我们对准确率的关注要优先于召回率。语法检查系统在为学习者提供反馈时，要尽可能保证所查到的错误确实为错误，尽量避免误判对学习者所产生的误导。另外，表4显示，重构后的链语法词典在句法分析能力方面也优于原词典。对于基于句法分析(正确规则)的语法检查工具来说，句法分析能力的提高至关重要，是减少系统误判、提高系统查错性能的基础。
4.4 测试结果分析
重构后的链语法词典可以更好地查到两大类动词形式错误： ①核心动词与其左侧单词在语法结构关系上的错误。这主要指的是动词相关的一致性错误，包括主谓一致性错误、实义动词和情态动词/助动词一致性错误。②核心动词与其右侧单词在语法结构关系上的错误。这主要指的是动词补足成分与动词关系错误，包括动词补足成分中动词不定式、动词-ing形式、动词-ed形式，以及其他动词修饰成分与动词关系的错误。
尽管重构后的词典能够检查到相当一部分动词形式错误，但也有部分错句被系统漏查，主要有以下三种情况。
(1) 目标错误动词兼有动词型式“V”和其他型式的情况。这类动词是最容易导致系统漏查的情况，如图3所示。按照我们的理解，目标动词“agree”和“arrive”均为补足成分错误，系统应该将“*agreeat”和“*arrivemyobject”标记为错误，整个句子的链接也不应完整呈现。而系统之所以能够在句子有误的情况下，生成完整的链路图，主要应该归咎于“MV”链过于宽泛的链接要求(图3中具体表现为“MVp”和“MVi” 链)。
按动词型式语法分类， agree的型式包括V、Vonn、Vton等；arrive的型式包括V、Vatn、V adj等。在读取到目标动词后， 系统便会按照目标动词各个型式的定义去尝试链接，直到找到一个可以链通整个句子的方案。与其他型式相比，动词型式“V”关于补足成分的规则最为简单(即{K+} & {@MV+})，匹配范围最广，且没有其他条件的限制。因此，一旦其他型式的规则无法采用，系统就会去型式“V”的定义中寻找链接。这样生成的链接虽然是完整的，但却掩盖了句子中的动词形式错误，是我们今后应该着重解决的问题。
图3 目标动词兼有型式“V”和其他型式时造成的错句漏查
(2) 包含“be+动词原形”的错句，如图4中的“*thepopulaceisriserapidly.”之所以被漏查，是因为系动词“be”的规则中包含链接子“I*v+”，而所有的动词规则中都包含链接子“I-”，两者相匹配就形成了“I*v”链，这样的链接显然是有问题的，而且是原词典和重构后词典共同面临的一个问题。和第一个问题相似，这种错句的漏查是链语法规则在具体使用层面限制不足造成的。
图 4 “be+动词原形”错句的漏查示例
(3) 学习者语言问题导致理解歧义的错句。例如，图5中句子“*Becausesheheardofthathehadalreadyhadwife.”存在的问题是，目标动词的补足成分不完整。按照“hear”的动词型式“Vofn”进行分析可以发现，句中缺失了“n”这一成分。但系统却没有标示出该错误，而是生成了完整的链路图。
由图5链路图可见，系统在检查该句时实际上是把“that”当作代词来分析的，“that”与“of”链接作介词宾语，即系统采取了错误的断句方式： “Becausesheheardofthat,hehadalreadyhadwife.”这样的表达在结构上完全符合语法规则，却词不达意。而学习者本来想表达的意思可能是，“Becausesheheardofthenewsthathehadalreadyhadawife.”该问题看似一个简单的动词形式错误，但对于系统来说，错误并不简单，因为系统无法像人一样猜测作者的意图。实际上，学习者语言中类似的歧义结构还有很多，是所有学习者语法检查系统必须面对的问题。
图 5 学习者语言表达歧义导致错句漏查示例
错句漏查会直接影响系统召回率。实验结果表明，重构后词典较原词典的召回率有所提高，但是幅度较小。本研究认为，制约召回率进一步提高的原因除了上述三个方面之外，还有一个深层原因，即链语法分析器的生成能力较强。链语法分析器本质上是一个句法分析器，在对输入文本进行分析时，系统首先假设输入文本是合乎语法的。在此前提下，链语法分析器会为每一个单词寻找所有可能匹配的链接子，生成完整的句法分析链路图。为了限制链语法分析器过高的生成能力，我们需要为链语法词典添加更加具体的规则，缩小单词的链接范围，最终达到单词与单词之间较为准确的链接。这对于错误检查来说是非常关键的环节。
5 结语
对重构后链语法词典的测试结果显示，加入型式语法规则的链语法分析器在查错性能和语言分析能力两方面都有所提高。本研究所基于的语言学理论和形式模型可以较好地适用于中国学生动词形式错误检查系统的构建。当然，本研究也存在一定局限： ①尽管本研究已经对链语法的形式化手段做了一定程度的改进，但是结果表明，仍然有一些错误无法查出，一些正确句子也无法获得完整的句法分析结果。链语法的形式化表现手段仍然还有较大的改进空间。②本研究主要关注的是形式化问题，仅对链语法词典进行了重构。受技术方面的限制，并未对链语法分析器的算法、程序进行改进，也未对系统今后的实用化做深入探讨。③型式语法认为“型式和意义不可分”[19]，尽管本研究在重构后的链语法词典中保留了一部分动词的意义组分类，但是本研究并未涉及意义。这些都是今后研究需要继续探讨的问题。
[1] Brockett C, Dolan W B, Gamon M. Correcting ESL errors using phrasal SMT techniques [C]//Proceedings of the 21stInternational Conference on Computational Linguistics (COLING) and 44th Annual Meeting of the Association for Computational Linguistics (ACL), 2006: 249-256.
[2] Leacock C, Chodorow M, Gamon M, et al. Automated grammatical error detection for language learners[M]. San Rafael, CA: Morgan & Claypool Publishers, 2010.
[3] Gamon M, Leacock C, Brockett C, et al. Using statistical techniques and Web search to correct ESL errors [J]. CALICO Journal, 2009(3): 491-511.
[4] Heift T, Schulze M. Errors and intelligence in computer-assisted language learning: parsers and pedagogues[M]. New York: Routledge, 2007.
[5] Vandeventer Faltin A. Syntactic error diagnosis in the context of computer-assisted language learning [D]. Geneva: University of Geneva, 2003.
[6] Liou H, Hsu H, Huang Y, et al. Development of an automatic English grammar debugger for Chinese students[C]//Proceedings of Rocling IV Computational Linguistics Conference IV, 1991: 277-302.
[7] Chen S, Xu L. Grammar-debugger: A parser for Chinese EFL learners [J]. CALICO Journal, 1990,(2): 63-75.
[8] 廖信海. 基于实例和规则相结合的语法检查研究及系统实现[D]. 广州： 中山大学硕士学位论文, 2003.
[9] Liou H. Development of an English grammar checker: A progress report [J]. CALICO Journal, 1991,(1): 57-70.
[10] Chan A Y W. Toward a taxonomy of Written errors: Investigation into the written errors of Hong Kong Cantonese ESL learners [J]. TESOL Quarterly, 2010,(2): 295-319.
[11] Lee J, Seneff S. Automatic grammar correction for second-language learners [C]//Proceedings of the Ninth International Conference on Spoken Language Processing, 2006: 1978-1981.
[12] 张仰森, 曹元大, 俞士汶. 基于规则与统计相结合的中文文本自动查错模型与算法[J]. 中文信息学报, 2006,20(4): 1-7.
[13] 张仰森, 唐安杰, 张泽伟. 面向政治新闻领域的中文文本校对方法研究[J]. 中文信息学报, 2014,28(6): 79-84.
[14] 刘亮亮, 王石, 王东升, 等. 领域问答系统中的文本错误自动发现方法[J]. 中文信息学报, 2013,27(3): 77-83.
[15] 麦合甫热提, 艾山·吾买尔, 麦热哈巴·艾力, 等. 基于词典和统计相结合的维吾尔语拼写检查方法[J]. 中文信息学报, 2014,28(3): 66-71.
[16] 苏传捷, 侯宏旭, 杨萍,等. 基于统计翻译框架的蒙古文自动拼写校对方法[J]. 中文信息学报, 2013,27(6): 175-179.
[17] 梁茂成. 中国学生英语作文自动评分模型的构建 [M]. 北京： 外语教学与研究出版社, 2011.
[18] 李霞, 刘建达. 适用于中国外语学习者的英文作文全自动集成评分算法[J]. 中文信息学报, 2013,27(5): 100-106.
[19] Hunston S, Francis G. Pattern grammar: A corpus-driven approach to the lexical grammar of English [M]. Amsterdam/Philadelphia: John Benjamins, 2000.
[20] Sleator D, Temperley D. Parsing English with a link grammar. Carnegie Mellon University Computer Science Technical Report [R]. CMU-CS, 1991:91-196.
[21] Francis G, Hunston S, Manning E. Collins COBUILD grammar patterns 1: Verbs [M]. London: Harper Collins, 1996.
[22] Francis G, Hunston S, Manning E. Collins COBUILD grammar patterns 2: Nouns and adjectives [M]. London: HarperCollins, 1998.
[23] 冯志伟. 链语法评述 [J]. 语言文字应用, 1999(4): 100-102.
[24] 教育部高等教育司. 大学英语课程教学要求[Z]. 北京： 外语教学与研究出版社, 2007.
[25] 《高等学校英语专业英语教学大纲》词汇表工作组. 英语专业四、八级词汇表[Z]. 上海： 上海外语教育出版社, 2004.
[26] 桂诗春, 杨惠中. 中国学习者英语语料库 [DB]. 上海： 上海外语教育出版社, 2003.
[27] Defelice R, Pulman S G. Automatic detection of preposition errors in learner writing [J]. CALICO Journal, 2009,(3): 512-528.
