马晓宁，赵东阁

(中国民航大学 计算机科学与技术学院，天津 300300)

0 引 言

近年来，随着各行各业的信息化，单纯的地名、时间、机构名等通用性的命名实体识别(named entity recognition，NER)已经不能满足不同领域的信息应用，比如民航信息领域需要识别航空公司、证件、地名、机型等等。随着出行量的增加以及“智慧民航”等口号的提出，民航信息化程度越来越高，需要建立高效的NER方法以满足更下游的任务，比如构建智能问答[1]、知识图谱[2]、语义搜索[3]等。

早期，大部分NER方法是基于规则的，需要人工手写足够多的规则，花费大量的人力物力。其后基于概率或统计学的方法快速发展，比如支持向量机(support vector machine，SVM)[4]、条件随机场(conditional random field，CRF)[5]等，而不同领域的特征也不同，所以统计学方法亦需要繁杂的特征工程。

更加复杂的网络得益于硬件的发展，有了计算环境，NER任务进入深度学习时代，其中主要包括卷积神经网络(convolutional neural networks，CNN)[6]与循环神经网络(recurrent neural network，RNN)及其变种如长短期记忆网络(long short-term memory，LSTM)[7]、循环门单元(gate recurrent unit，GRU)等[8]。基于以上深度网络去做实体预测，许多学者在生物医学[9]、网络推文[10]等领域分别提出了合适的NER模型，近几年来注意力机制域蓬勃发展，也有学者将其应用于实体预测，比如Y Zhu等[11]融合RNN和注意力机制提出了一个字符级别的卷积注意网络，以捕捉来自相邻字符和句子上下文的信息。

随着计算机算力的进一步提升，一些预训练语言模型(pre-trained models，PTMs)涌现出来，它们通过预先在大规模语料库上训练进而应用于一些NLP的下游任务，实验显示均得到了很……