万 莛

（武汉理工大学 计算机科学与技术学院，湖北 武汉430063）

作为计算机信息处理中最基础、最关键的技术，中文分词一直是人们研究的热点。中文分词就是将连续的汉字序列按照一定的规律分割成一个个单独的词的过程[1]。在英文句子中，单词之间是以空格作为自然分界符的，所以英文分词比较简单；而中文以字为基本单位，将一序列字串联在一起形成句子，从而表达意思，中文的句和段能通过明显的分界符来划分，但是词没有一个形式上的分界符，所以中文分词比英文分词相对困难许多。中文分词方法总结起来大致可分为三大类：基于词典直接匹配的分词方法、基于规则和理解的分词方法和基于统计模型的分词方法[2]。本文主要讨论基于词典匹配算法中的最大匹配算法，针对其过分依赖词典这一弊端进行了探讨并提出了对策。

1 最大匹配算法

最大匹配算法是最常用也是最基本的字符串匹配算法之一。它能够保证切分出来的词长度最大，同时易于实现[3]。最大匹配算法包括正向最大匹配算法、逆向最大匹配算法和双向最大匹配算法。

1.1 正向最大匹配算法

正向最大匹配算法流程[4]如图1所示。

图1 正向最大匹配算法流程图

以“中华人民共和国简称中国”为例，设定取词长度n为8，待匹配字符串为s，按照上述步骤处理过程为：

(1)s为“中华人民共和国简”，查找词典进行匹配操作，发现没有该词；

(2)s去掉最后一个字，变为“中华人民共和国”，查找词典进行匹配操作，发现该词，将该词存入结果文档中；……