张梅山，邓知龙，车万翔，刘 挺

(哈尔滨工业大学 计算机学院 社会计算与信息检索研究中心，黑龙江 哈尔滨 150001)

1 引言

中文分词是中文自然语言处理中最基本的一个步骤，非常多的研究者对它做了很深入的研究，也因此产生了很多不同的分词方法，这些方法大体上可以分为两类： 基于词典匹配的方法和基于统计的方法。

基于词典的方法[1-2]利用词典作为主要的资源，这类方法不需要考虑领域自适应性的问题，它只需要有相关领域的高质量词典即可，但是这类方法不能很好的解决中文分词所面临的歧义性问题以及未登录词问题。

基于统计的方法[3-6]是近年来主流的分词方法，它采用已经切分好的分词语料作为主要的资源，最终形成一个统计模型来进行分词解码。基于统计的方法在分词性能方面有了很大的提高，但是在跨领域方面都存在着很大的不足，它们需要针对不同的领域训练不同的统计分词模型。这样导致在领域变换后，必须为它们提供相应领域的分词训练语料，但是分词训练语料的获得是需要大量人工参与的，代价昂贵。而基于词典的方法却在领域自适应方面存在着一定优势，当目标分词领域改变时，只需要利用相应领域的词典即可。领域词典的获取相比训练语料而言要容易很多。如果把这两种方法结合起来，使得统计的方法能够合理应用词典，则可实现中文分词的领域自适应性。

赵海等人[7]以及张碧娟等人[8]都曾提出将词典信息融入统计分词模型中大大改善了分词的性能。……