尹　倩

(安徽体育运动职业技术学院,合肥 230051)



基于语境信息的中文分词交叉歧义处理方法*

尹倩

(安徽体育运动职业技术学院,合肥 230051)

模拟人浏览句子按照语境寻找消歧证据的经验，计算歧义字段与其所在句子的语义相似度和相关度，据此作为语境计算模型，利用歧义字段与其所在句子的语境信息进行中文分词交叉歧义处理;与经典的基于统计方法相比，切分准确率有很大提高。

中文自动分词;交叉歧义;语义联系;语境计算模型

作为中文信息处理的基础工作，中文分词质量好坏直接影响后期文本挖掘、信息提取、机器翻译、智能检索的质量。计算机不同于人类处理歧义以“语义”和“关联度”作为分词经验的特点，它决定中文分词切分算法存在歧义性。有研究统计，交叉歧义大约占到了总歧义字段的90%左右[1]。

已有交叉歧义处理方法[2-8]只是独立地利用统计[2-4]或建立规则[5-8]的方法计算歧义字段内部两个连续汉字的结合程度，并没有考虑上下文的语境信息。近年来，浅层基于理解的方法[9-10]受到关注，但也仅是计算歧义字段内部的语义联系，亦未能计算歧义字段与其所在语境的关系，效果亦是不佳。而交叉型歧义的形成是跟上下文语境息息相关的，比如“和平原”,已有方法总是利用统计或建立规则,切分为“和平/原”还是“和/平原”，而未能将整个句子“山东加强河道和平原沙区生态治理”的语境考虑进来。抛开语境这一背景信息来进行歧义处理必然会遇到切分障碍。……