APP下载

基于可信度模型的中文人名识别研究

2011-06-14朱巧明李培峰

中文信息学报 2011年3期
关键词:文本模型

倪 吉,孔 芳,朱巧明,李培峰

(苏州大学 计算机科学与技术学院,江苏 苏州 215006;江苏省计算机信息处理技术重点实验室,江苏 苏州 215006)

1 引言

命名实体识别是文本信息处理的基础,在机器翻译、信息检索、自动问答、知识管理、实体关系抽取等应用领域中都有重要的作用。命名实体识别首先在MUC-6上作为子任务提出[1],主要任务是识别文本中人名、地名、机构名、时间表达式、数量表达式等。由于中国人名在实体中所占的比例较大,据统计,在《人民日报》1998年1月的语料库(2 305 896字)中,平均每100个字包含未登录词1.192个(不计时间词和数量词),其中48.6%的实体是中国人名[2],另外中文语义复杂,中国人名的用字又具有很大的任意性,所以中国人名的识别是命名实体识别任务中主要任务和主要难点之一。

2 相关工作

虽然中文命名实体的研究相比英语命名实体识别尚处于不成熟阶段,但在中文人名识别上也已经有了不少的研究,主要有基于规则和基于语料库统计[3-6]的人名识别方法,这类方法的核心是统计人名用字在语料中的频率,通过计算概率来确定文本中的候选人名为确定人名的可能性;罗智勇等[7]提出的基于可信度的中国人名识别方法也是统计人名的用字频率作为人名的可信度,但他在统计人名用字概率时去除了人名用字在语料中作为普通词出现的情况,是一种解决传统统计误区的方法;李中国等[8]提出了基于边界模板和局部统计相结合的中国人名识别方法,该方法从标注语料库中抽取边界模板,利用边界模板对人名进行粗略定界,然后根据局部统计量和启发式规则对识别结果进行校正;……

登录APP查看全文

猜你喜欢

文本模型
一半模型
初中群文阅读的文本选择及组织
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
FLUKA几何模型到CAD几何模型转换方法初步研究
如何快速走进文本