基于BERT和非自回归的医疗知识抽取
2023-03-21马志龙
计算机与现代化 2023年1期
于 清,马志龙,徐 春
(新疆财经大学信息管理学院,新疆 乌鲁木齐 830012)
0 引 言
实体识别和关系抽取是信息抽取领域中的核心任务,而医疗领域相对于其他领域,具有实体和关系数量较多、种类繁杂、命名不规则等难点[1]。如何从医疗文本中提取知识是医疗领域的热点问题。电子病历中蕴含着大量真实且与病人密切相关的医疗信息,从中有效提取实体及其关系,对构建医疗知识图谱、医疗问答、辅助决策具有重要的现实意义[2-4]。
目前,在实体关系抽取任务中,基于循环神经网络[5]和卷积神经网络[6]等神经网络技术[7-8]的深度学习架构日渐成熟,并逐渐被应用于医疗领域中。Uzuner等[9]根据出院摘要,首次对医疗语义关系进行分类研究。Sunil 等[10]首次将CNN 模型运用到电子病历的关系抽取中,但此方法不适于距离较远的实体间的识别和抽取。2019 年,谷歌基于Transformer 模型提出了BERT 网络模型[11],并且在关系抽取的相关工作中取得了良好效果。
为进一步提高关系抽取的效果,一些学者开始融合多种方法进行实体识别和关系抽取。Zhang 等[12]在BERT 模型的基础上,提出了基于Bi-LSTM-CRF的关系抽取优化方法,成功从临床乳腺癌文档中提取出相关概念及属性。Christopoulou 等[13]引入注意力机制和Transform 网络,实现药物-药物在句子内和句子间关系的提取和分类。武小平等[14]针对中文以词为单位的特性,提出了改进的BERT(wwm)-CNN 模型,实现心血管疾病领域的实体识别及关系抽取。李丽双等[15]针对位置向量噪声和语义表达匮乏等问题,提出了基于BiLSTM-CNN 的关系抽取模型,取得了i2B2/VA语料的最优结果。……
登录APP查看全文
