顾亦然，霍建霖，杨海根，卢逸飞，郭玉雯

（1.南京邮电大学 自动化学院 人工智能学院，南京 210023；2.南京邮电大学宽带无线通信技术教育部工程研究中心，南京 210003）

0 概述

自然语言处理（Nature Language Processing，NLP）是人工智能领域的热点研究方向，广泛应用于机器翻译、语音识别、情感分析、问答系统、文本分类、知识图谱等任务。命名实体识别（Named Entity Recognition，NER）作为自然语言处理的一项基本任务，旨在从非结构化文本中识别出特定意义和类型的实体［1］。深度学习模型是一种不依赖人工特征的端到端模型，利用神经网络学习文本的特征信息，将实体识别任务当作序列标注任务［2］，主要包括卷积神经网络（Convolutional Neural Network，CNN）、长短期记忆神经（Long Short-Term Memory，LSTM）网络、门控循环单元（Gated Recurrent Unit，GRU）、循环神经网络（Recurrent Neural Network，RNN）等［3-5］模型。HAMMERTON 等［6］将LSTM 神经网络用于命名实体识别任务。COLLOBERT 等［7］提出CNNCRF 神经网络模型。LAMPLE 等［8］采用字符级的单词表示，并利用LSTM 和CRF 提取实体。HUANG等［9］通过BiLSTM-CRF 模型识别CONNLL2003 数据集中的英文实体，F1 值达到88.83%。买买提阿依甫等［10］根据维吾尔文的特点，构建基于BiLSTM-CNNCRF 的实体识别模型。李健龙 等［11］利用CNN 对字向量进行处理，并使用融合自注意力机制的BiLSTM 模型进行军事领域的实体识别，取得了87.38%的F1 值。李明浩等［12］使用LSTM 和CRF 相结合的方法提取中医临床症状中的实体。ZHANG等［13］提出Lattice LSTM 模型，利用改进的LSTM 获取特征信息，在MSRA 数据集中取得了93.18%的F1 值。

为使词语能包含丰富的语义信息及句法特征，研究人员陆续提出使用预训练语言模型来获取词语的表示。PETERS 等［14］提出ELMo 模型，采用双向LSTM 进行拼接，可在一定程度上解决模型只能学习单向信息的问题。……