APP下载

一种基于LSTM 的机器阅读理解模型

2021-06-11刘鑫

电子设计工程 2021年11期
关键词:模型

刘鑫

(武汉邮电科学研究院,湖北 武汉 430074)

机器阅读理解(Machine Reading Comprehension,MRC)的研究目标是让计算机读懂文章,并像人类一样回答与文章相关的问题[1],在需要自动处理和分析大量文本内容的场景下,机器阅读理解都可以节省大量人力和时间,因此,机器阅读理解成为当前人工智能研究中最前沿、最热门的方向之一。该文以百度深度学习研究院(Baidu Research-Institute of Deep Learning,IDL)提出的神经递归序列标注(Neural Recurrent Sequence Labeling,NRSL)模型[2]作为基础模型,对开放域下事实类问答任务进行研究。

原模型通过LSTM+CRF[3]将MRC 转换为序列标注问题,但是面对一段材料多次出现答案的情况,CRF 的表现并不是很好,而且直接对材料中的词进行判断标注,未免对模型太过严苛。针对这些问题,文中采用字词混合Embedding 编码和半指针半标注解码的方式来改善、提升机器阅读理解任务的精度。

1 相关工作

MRC 旨在利用算法使计算机理解文章语义并回答相关问题,当前MRC 主要分成4 个任务:完形填空、单选、跨度提取、自由问答[4],文中研究的是后两者,即抽取式问答。最近几年,由于深度学习的兴起[5],众多优秀的机器阅读理解模型脱颖而出,这些模型在网络架构、模块设计、训练方法等方面实现了创新,大大提高了算法理解文本和问题的能力以及预测答案的准确性。

文献[2]提出的NRSL 模型,文献[4]提出的双向注意力流(Bi-Directional Attention Flow,BiDAF)模型[6]算得上中文机器阅读理解的开山之作,成为了之后众多MRC 模型参照的典范。之后的模型创新大多集中在网络结构的创新及优化,但是对模型的输入编码和输出解码模块优化也是有重要意义的,该文就是在研究前人模型的基础上,重点研究优化编码解码模块来提升模型的精度。……

登录APP查看全文

猜你喜欢

模型
一半模型
一种去中心化的域名服务本地化模型
适用于BDS-3 PPP的随机模型
函数模型及应用
p150Glued在帕金森病模型中的表达及分布
函数模型及应用
重尾非线性自回归模型自加权M-估计的渐近分布
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
一个相似模型的应用