孟凡东，徐金安，姜文斌，刘 群

(1. 中国科学院 计算技术研究所 智能信息处理重点实验室，北京 100190;2. 北京交通大学 计算机与信息技术学院，北京 100044)

1 引言

词法分析是自然语言处理领域的基础性研究课题之一，词法分析的精度直接影响自然语言处理后续工作的效果。基于统计的词法分析很大程度上依赖于语料库，加大训练语料，可以直接提高词法分析的精度。但是，手工标注大规模语料代价昂贵。并且，不同领域的语料切分和标注的标准往往不同，难以直接混合使用。图1 以《人民日报》语料和宾州中文树库语料为例，具有不同的切分和词性标注标准，在《人民日报》语料中“高新技术”为一个词，标注为名词(n)，在宾州树库中，“高新技术”被分为“高”“新”“技术”，并分别标注为形容词(JJ)、形容词(JJ)和名词(NN)。并且，这两种语料的词性标注集也不同，名词的标注分别是n和NN。

图1 《人民日报》语料(上面)和宾州中文树库语料(下面)的分词和词性标注标准举例

针对上述问题，Jiang et al.[1]提出了一种基于错误驱动的方法。利用源语料信息，将其分词和词性标注标准作为特征指导目标分析器，使其产生更好的效果。解码时，首先用源词法分析器对测试语料切分，再用目标词法分析器进行第二次切分，此时以第一次的切分结果为特征，即利用源语料指导目标词法分析器。该方法明显地提高了词法分析精度，是目前中文词法分析中效果最好的方法之一。但是该方法的解码过程略为复杂，不如一次解码的效率高。……