基于语料库的蒙古人名知识库建设与实践
2016-01-19通拉嘎李佳正泉州师范学院图书馆福建泉州6000中国科学院计算技术研究所北京0090中国移动北京分公司北京00007
图书馆理论与实践 2015年2期
关键词:实验
●通拉嘎,刘 凯,李佳正(.泉州师范学院 图书馆,福建 泉州 6000;.中国科学院计算技术研究所,北京 0090;.中国移动北京分公司,北京 00007)
基于语料库的蒙古人名知识库建设与实践
●通拉嘎1,刘凯2,李佳正3
(1.泉州师范学院图书馆,福建泉州362000;2.中国科学院计算技术研究所,北京100190;3.中国移动北京分公司,北京100007)
[关键词]语料库;人名;蒙古人名;最大熵;特征选择;实验
[摘要]为提取较为完备的蒙古人名特征,以内蒙古大学语料库及网页人名句为基础,采用量化分析的方法,建立普通人名知识库及兼类人名知识库,将知识库归并为14个特征,进行特征选择实验,在直接保留“汉语姓氏映射表”及“汉语人名映射表”等特征集后,鉴于对正确率和召回率的贡献,去除了地名词典、地名后缀词典、机构名后缀词典等3个特征集,保留了9个作为最大熵模型的特征集,从实验结果看,予以保留的特征影响并不相同。
1 引言
命名实体往往包含了文章的主要内容,是正确理解文本的基础。人名等命名实体在文本中有很高的使用频率,是开放的集合,无法穷举,在未登录词中占有相当大的比例,郑家恒[1]统计出人名在未登录词中的比例是30.24%。人名等命名实体的识别(NER)是信息抽取的子任务,是自然语言处理的基础工作,是词法分析与标注的重点及难点之一。要取得更高的正确率,必须解决人名等命名实体的识别问题。人名可以分为普通人名及兼类人名,人名识别的主要难点是兼类人名的识别,因为命名实体之间、人名和普通词之间存在大量的歧义和冲突。……
登录APP查看全文
