APP下载

基于BERT和非自回归的医疗知识抽取

2023-03-21马志龙

计算机与现代化 2023年1期
关键词:方法模型

于 清,马志龙,徐 春

(新疆财经大学信息管理学院,新疆 乌鲁木齐 830012)

0 引 言

实体识别和关系抽取是信息抽取领域中的核心任务,而医疗领域相对于其他领域,具有实体和关系数量较多、种类繁杂、命名不规则等难点[1]。如何从医疗文本中提取知识是医疗领域的热点问题。电子病历中蕴含着大量真实且与病人密切相关的医疗信息,从中有效提取实体及其关系,对构建医疗知识图谱、医疗问答、辅助决策具有重要的现实意义[2-4]。

目前,在实体关系抽取任务中,基于循环神经网络[5]和卷积神经网络[6]等神经网络技术[7-8]的深度学习架构日渐成熟,并逐渐被应用于医疗领域中。Uzuner等[9]根据出院摘要,首次对医疗语义关系进行分类研究。Sunil 等[10]首次将CNN 模型运用到电子病历的关系抽取中,但此方法不适于距离较远的实体间的识别和抽取。2019 年,谷歌基于Transformer 模型提出了BERT 网络模型[11],并且在关系抽取的相关工作中取得了良好效果。

为进一步提高关系抽取的效果,一些学者开始融合多种方法进行实体识别和关系抽取。Zhang 等[12]在BERT 模型的基础上,提出了基于Bi-LSTM-CRF的关系抽取优化方法,成功从临床乳腺癌文档中提取出相关概念及属性。Christopoulou 等[13]引入注意力机制和Transform 网络,实现药物-药物在句子内和句子间关系的提取和分类。武小平等[14]针对中文以词为单位的特性,提出了改进的BERT(wwm)-CNN 模型,实现心血管疾病领域的实体识别及关系抽取。李丽双等[15]针对位置向量噪声和语义表达匮乏等问题,提出了基于BiLSTM-CNN 的关系抽取模型,取得了i2B2/VA语料的最优结果。……

登录APP查看全文

猜你喜欢

方法模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
学习方法
3D打印中的模型分割与打包
用对方法才能瘦
FLUKA几何模型到CAD几何模型转换方法初步研究
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼
一个相似模型的应用