张 栋，王铭涛，陈文亮

（苏州大学计算机科学与技术学院，江苏苏州 215006）

0 概述

命名实体识别（Named Entity Recognition，NER）是自然语言处理中的一项重要任务［1-2］，其目的是在非结构化文本中识别人名、地名和组织名等专有名词［3］。NER 问题通常被转换为序列标注问题，即给序列中的每个字或词打上一个预定义的实体标签。近年来，基于有监督学习的NER 模型取得较大进展，系统性能得到大幅提升［4-6］。

传统的NER 系统主要是基于统计机器学习，如最大熵模型［7］、隐马尔科夫模型［8］和条件随机场（Conditional Random Field，CRF）模型［9-10］等。这类模型非常依赖手工特征，如上下文特征、前缀词和后缀词等。由于语言的多样性以及领域的差异性，手工特征通常需要重新设计，缺乏可迁移性。随着深度学习的快速发展，基于神经网络的方法被广泛应用于NER 任务。文献［11］使用前馈神经网络和卷积神经网络（Convolutional Neural Network，CNN）作为特征编码器，文献［12］使用长短时记忆（Long Short Term Memory，LSTM）网络作为特征编码器。这些深度学习模型不仅摆脱了对手工特征工程的依赖，而且命名实体识别性能明显优于基于统计机器学习的方法。神经网络的初始化对于深度学习模型性能影响很大，传统的词向量在训练时对上下文中的词进行预测，得到词的分布式向量表示。但通过这种方式取得的词向量都是静态的，无法体现一词多义的情况。例如，“自然”在不同上下文中具有“不造作，不呆板”或“理所当然”的含义。为了解决这一问题，文献［13］在大规模无标注语料上预训练一个语言模型，将多层上下文的隐状态通过线性加权作为词的向量表示，基于该预训练语言模型得到的上下文相关词向量在英文NER 任务中取得了较好的效果。……