APP下载

基于动态词典匹配的语义增强中文命名实体识别算法

2021-07-14陈曙东欧阳小叶

无线电工程 2021年7期
关键词:特征方法模型

陈曙东,罗 超,欧阳小叶,李 威

(1.中国科学院大学 微电子学院,北京 100049;2.中国科学院 微电子研究所,北京 100029)

0 引言

自然语言处理(Nature Language Processing,NLP)是人工智能领域的热点研究方向,在机器翻译、语音识别、情感分析、问答系统、聊天机器人、文本分类和知识图谱等方面都有重要应用。命名实体识别(Name Entity Recognition,NER)[1-5]作为自然语言处理的一项基本任务,旨在从非结构化文本中识别出命名实体(如人名、地名和组织机构名)。

传统的命名实体识别方法主要包括基于规则[6]的方法、基于统计机器学习的方法以及二者混合的方法等。其中,基于规则的方法借助知识库和词典,利用语言学专家手工构造的规则模板进行命名实体的识别,是命名实体识别中最早使用的方法。基于统计机器学习的方法通过人工选取文本特征,借助融合语言模型和机器学习算法进行命名实体识别,代表性的方法主要包括隐马尔可夫模型[7]、最大熵[8]、支持向量机[9]和条件随机场(Conditional Random Field,CRF)[10-12]等。

近年来,随着基于神经网络的各类深度学习方法的快速发展,NER研究逐渐从机器学习转向深度学习。该类方法首先使用大规模的未标注语料进行词向量训练,然后通过将预训练的词向量输入到深度学习网络模型,用以实现端到端的命名实体识别。Huang等[13]利用双向长短时记忆(Bidirectional Long Short-Time Memory,BiLSTM)网络和CRF来进行命名实体识别,此模型获得较好的表现。相比传统机器学习方法,基于深度学习的方法通过自主学习而非人工方式从原始数据中获得更深层次和更抽象的文本特征,较好地解决了传统方法特征选取难度大和对数据的人为干扰等问题,因此成为研究热点。……

登录APP查看全文

猜你喜欢

特征方法模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
如何表达“特征”
不忠诚的四个特征
3D打印中的模型分割与打包
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼
线性代数的应用特征