基于BERT的多特征融合的医疗命名实体识别
2021-12-30李正民云红艳王翊臻
李正民 云红艳 王翊臻





摘要:
针对传统字向量难以表达上下文语义以及抽取的特征较为单一等问题,提出基于BERT的多特征融合模型BERT-BiLSTM-IDCNN-Attention-CRF,通过BERT建模字向量的上下文语义关系,并融合双向长短期记忆网络(BiLSTM)和迭代膨胀卷积 (IDCNN),分别抽取的上下文特征和局部特征,使两种特征进行互补以提升实体抽取效果。本模型在全国知识图谱与语义计算大会CCKS2020中文电子病历数据集上进行测试,与BiLSTM-CRF等基准模型进行比较,F1值提升127%。实验结果表明,本模型能较好地识别电子病历中的医疗实体。
关键词:
命名实体识别,多特征融合,BERT,BiLSTM,IDCNN
中图分类号:TP391
文献标志码:A
收稿日期:2021-05-19
基金项目:
国家重点研发计划 (批准号:2016YFB1001103)资助。
通信作者:云红艳,女,博士,教授,主要研究方向为语义Web与本体工程、智能信息系统、大数据集成。E-mail:yunhy2001@163.com
电子病历用于患者临床治疗过程中,以电子化方式记录患者就诊时的病情变化及诊疗过程,是临床科学诊断治疗的基础材料[1]。电子病历包含了丰富的医疗实体,通过使用医疗命名实体识别技术(Medical Named Entity Recognition,MNER)从电子病历中挖掘出各类医疗实体,可用于建立医疗知识图谱,增强数据的可用性、可理解性与可见性[2]。命名实体识别技术从早期的基于规则和词典的方法逐渐向机器学习和深度学习过渡,近年来由于神经网络具有强大的特征提取能力,因此成为命名实体识别中的主流方法。Liu等[3]通过实验对比了深度学习算法BiLSTM-CRF与机器学习算法CRF识别实体的性能,证明了深度学习算法更为有效。……