APP下载

基于上下文相关的未知实体词识别方法

2016-11-01黄文茜

电子科技大学学报 2016年5期
关键词:规则方法

夏 虎,黄文茜



基于上下文相关的未知实体词识别方法

夏 虎1,2,黄文茜2

(1. 电子科技大学大数据研究中心 成都 611731;2. 电子科技大学互联网科学中心 成都 611731)

现有的未知实体词识别方法主要针对人名、地名、机构名等具有特定结构的实体词进行识别,而随着电子商务和社交网络的快速发展,出现了大量结构不确定的专有领域未知实体词。针对该问题,提出两种基于上下文相关的未知词识别算法,通过计算词(字)和词(字)之间的上下文相关性,得到其潜在组合的支持度,并通过过滤模块过滤掉错误的组合,实现具有非确定型结构的未知实体词识别。实验表明,该算法具有较高的准确率,并且可以通过调整参数适应不同的应用场景。

关联规则; 上下文相关; 未知词识别; 词义消歧

命名实体是文本中承载信息的重要语言单位,命名实体的识别在网络信息抽取、网络内容分析和知识工程等领域都占有非常重要的地位。传统的命名实体识别主要针对人名、地名、机构名以及产品命名实体等具有特定结构的实体词[1]。然而,随着互联网的快速发展,网络上出现了大量结构不确定的专有领域未知实体词,例如电子商务中大量出现的新商品名称、网络用语“酱紫(这样子)、斑竹(版主)”等,这类未知词结构多样,没有特定的规律,用传统的未知词识别方法难以有效识别。

目前未知词识别领域的研究主要有3种方法:基于统计的方法、基于规则的方法以及两者结合的方法。……

登录APP查看全文

猜你喜欢

规则方法
撑竿跳规则的制定
数独的规则和演变
学习方法
规则的正确打开方式
让规则不规则
TPP反腐败规则对我国的启示
搜索新规则
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法