基于字向量的条件随机场的中文分词方法
2020-01-07
武汉船舶职业技术学院学报 2019年4期
(武汉船舶职业技术学院,湖北武汉 430000)
在中文语言中,单独的词是具有最小意义的表达形式,而很多独立语和关联语的文本不同于英语,单词之间有空格,中文最具有意义的词与词之间没有任何分隔符之类的显示切分词的特征标志[1],中文分词在我们语言实验中,具有极其重要的地位,是诸多应用系统不可或缺的一个重要环节。中文分词是自然语言理解中举足轻重的知识点之一,也是目前在做中文文本处理[12],信息检索,情感文本分类,知识问答等知识的基础问题[3]。分词的好坏将直接影响到后期的分析结果,如命名实体识别[4],句法分析,篇章分析等。传统的中文分词主要包含三大类:①基于理解的中文分词:也称作人工智能的方法。通过让电脑,仿效人对文本中某句话的理解,达到识别词语的意义,然后进行分词。②基于字符串匹配的中文分词,将文本中的一句话以正向或者逆向或者双向最大匹配的方式,和字典进行匹配,按照优先的匹配方式,达到最大或者最小的匹配方式。③基于概率统计的中文分词,此方法只需要对文本中的字词进行统计,而不需要利用词典切分,其主要的技术含有马尔可夫模型[5](Hidden Markov Model,HMM)、基于最大熵模型(Maximum Entropy Models)、基于条件随机场模型[6](conditional random fields, CRF)等。
前面两者依托于各行业高频率词汇[7],没有着重考虑未登录词的识别过程,因而这类方法不能有效的解决歧义词在中文信息处理方面的问题。利用统计的中文分词方法,是后来大多数学者优先考虑的,也是中文信息处理领域常用的算法之一,常用于在知识问答[9]、实体连接[10]、机器翻译[11]等领域常常使用到。……
登录APP查看全文
