高东平

(中国医学科学院医学信息研究所，北京 100020)

基于类型论的汉语分词系统TTCS

高东平

(中国医学科学院医学信息研究所，北京 100020)

针对汉语分词中的未登录词识别和歧义消除这两个瓶颈问题和目前方法的不足，将类型论的思想引入到汉语分词领域中，提出了类型匹配模型，以类型论函数贴合为主要算法，融合了全切分、统计，前后缀识别信息等多种技术手段，将分词、未登录词识别、歧义消除，词典的动态扩充有机的融合到一个统一的理论模型当中。在此理论框架的基础上，最后实现了基于类型论的汉语分词系统TTCS。

类型匹配;汉语分词;歧义消除;未登录词;类型论

众所周知，歧义和未登录词是汉语分词的两大瓶颈。从1983年第一个实用分词系统CDWS［1］的诞生至今，国内外的研究者对汉语分词中的这两个问题进行了广泛的研究。从众多研究方法来看，多数是针对其中之一进行的研究。例如，针对歧义问题，有基于规则的方法［2－3］，也有针对某一类歧义的处理，如引入向量空间解决组合歧义问题［4］，用条件随机域的方法处理组合歧义问题［5］等。对于未登录词识别的研究，主要的出发点是综合利用未登录词内部构成规律及其上下文信息。未登录词识别处理的对象主要是人名、地名、译名和机构名等命名实体。

在现有的研究中，对于分词算法、切分排歧和未登录词识别的解决方案多数是相对独立进行的。只有少数学者给出相对统一的模型框架将三者进行有机的融合［6－7］。……