张生杰 霍丹

摘要：中文分词在自然语言处理中是一个关键基础性研究。针对中文分词歧义问题，该文建立在词法和句法基础上，提出了一种基于语义信息的二元汉语分词器，是通过语境的切分理论和二元切词的相结合进行歧义消解。然后，用分词校正器从整个句子的语法角度上检测中文分词结果的正确性。最后，从语境角度分析歧义字段，以此提高分词的准确率。

关键词：语境；中文分词；切分理论；歧义消解

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）22-0184-03

1 引言

中文分词的主要技术有：基于频度统计的分词方法、基于字符串匹配的分词方法和基于理解的分词方法。虽然针对特定领域也能提高切分精度，但没有考虑过两个词语间的语义问题、歧义消解处理问题等，本文在广泛研究现有的分词基础之上，通过分析中文切分过程中具备的性质，根据语义切分理论，提出一种基于语义信息的算法进行分词，然后执行该算法以后对切分出的中文歧义字段进行进一步的消解歧义处理，利用递归转移网络的语法规则来分析检测分词结果的正确性，最后通过实验评估其准确性。

2 分词技术

现有的分词技术主要分为3大类：1）基于字符串的分词法，主要是按一定的策略将待分析的汉字串与词典进行匹配；2）基于频度统计的分词法，它是基于字典及词库匹配技术；3）基于理解的分词方法，通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象，最终达到识别文本语义并准确切词的目的。……