熊明明 李 英 郭剑毅,2 毛存礼,2 余正涛,2

(1.昆明理工大学信息工程与自动化学院, 昆明，650500；2.昆明理工大学智能信息处理重点实验室,昆明，650500)

基于CRFs和歧义模型的越南语分词

熊明明1李 英1郭剑毅1,2毛存礼1,2余正涛1,2

(1.昆明理工大学信息工程与自动化学院, 昆明，650500；2.昆明理工大学智能信息处理重点实验室,昆明，650500)

通过对越南语词法特点的研究，把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs)，提出了一种基于CRFs和歧义模型的越南语分词方法。通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料。越南语中交叉歧义广泛分布在句子中，为了克服交叉歧义的影响，通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段，并通过最大熵模型训练得到一个歧义模型，并融入到分词模型中。把训练语料均分为10份做交叉验证实验，分词准确率达到了96.55%。与已有越南语分词工具VnTokenizer比较，实验结果表明该方法提高了越南语分词的准确率、召回率和F值。

条件随机场模型; 越南语分词; 词法; 基本特征; 最大熵; 歧义模型

引 言

越南语分词是越南语信息处理的前提，是越南语词法、句法、语义以及各种上层应用的基础。目前在分词方面已经有很多研究成果，主要包括基于词典匹配的分词方法、基于统计的分词方法和基于理解的分词方法。基于词典匹配的方法主要按照一定的策略将待分析的字符串与一个“充分大的”机器词典中的词条进行匹配。……