基于混合方法的中文人名识别研究
2015-07-07王祖兴顾君忠
计算机工程与应用 2015年8期
王祖兴,吕 钊,顾君忠
华东师范大学 计算机科学技术系,上海 200241
基于混合方法的中文人名识别研究
王祖兴,吕 钊,顾君忠
华东师范大学 计算机科学技术系,上海 200241
当前中文人名识别的研究主要针对中国人名,而对日本人名及音译人名的专门研究相对较少,识别效果也亟待提高。提出利用CRRM方法进行中、日及音译人名同步识别。该方法基于CRF(Conditional Random Fields)并结合了上下文规则及人名可信度模型。此外,利用局部统计算法对边界识别错误的人名进行修正,并利用扩散操作召回未被识别的人名。实验结果表明,中、日、音译人名识别的F值均高于90%,提出的方法可以取得较好的识别效果。
中文人名识别;条件随机域(CRF)模型;人名可信度模型;上下文规则;边缘概率
1 引言
中文人名主要包括中国人名、日本人名、外国音译人名等。在分词领域,中文人名是出现频率比较高的未登录词,据统计中文姓名在待处理文本中一般只占1%~2%,但人名的切分错误却高达50%以上,而对所有分词错误进行统计,姓名错误占了近90%。可见解决中文人名识别问题是提高中文自动分词精度的先决条件。此外,作为命名实体识别的重要组成部分,中文人名识别在众多自然语言处理领域均发挥着重要作用,如人名消歧[1]、信息抽取[2]、机器翻译[3]、文本分类[4]等。中文人名识别效果的准确性,直接影响了这些自然语言处理应用的效果。
当前人名识别的方法可以分为基于规则[5-6]的方法,基于统计的方法[7-8]以及规则和统计相结合的方法[9-10]。……
登录APP查看全文
