基于词向量和条件随机场的中文命名实体分类
2020-09-29马孟铖杨晴雯艾斯卡尔艾木都拉吐尔地托合提
计算机工程与设计 2020年9期
马孟铖,杨晴雯,艾斯卡尔·艾木都拉,吐尔地·托合提
(新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046)
0 引 言
命名实体是文本中的基础信息单元。其表示了文本中内在名称和缩写的信息,同时自然语言处理研究中一项基础且必要的任务就是对于命名实体的识别。旨在从海量文本中提取出能够体现客观具体或者抽象实体的词汇,例如人名、地名和机构名等。
随着计算机技术水平的不断提高,自然语言处理和文本处理相关研究不断深入。问答系统、自动摘要、意见挖掘等研究领域都需要语义知识作为支持,命名实体识别和分类已成为一项重要的基础性研究问题[1]。从狭义上讲,命名实体可以分为人名、地名、组织名等。从广义上讲,命名实体包括各种表达式、电子邮箱等,伴随着现在自然语言处理相关研究的兴起,原来的命名实体界定范围已经不能满足需求,人们对这些实体词汇在原有基础上进行了种类的扩展,分类更加细致。比如,地名可细分为地区名称(不同大洲)、国家名、城市名、乡镇名等。相同语料研究任务的不同可能需要不同类型的命名实体,若每次根据任务类型再选取相应的特征识别命名实体需要耗费人力、精力和时间,代价未免太过巨大。因此,现在的研究重点应该是根据不同应用领域的特定需求定义不同类型的命名实体并加以识别,并且快速、高效率地完成[2,3]。
1 研究现状
发展至今,中文命名实体识别的方法主要有以下几种:基于机器学习的方法通常被当作序列标注任务[4],经典机器学习分类模型主要有隐马尔可夫模型和条件随机场等浅层模型。……
登录APP查看全文
