面向垂直领域的阅读理解数据增强方法
2021-12-27吕政伟石智中刘多星
中文信息学报 2021年11期
吕政伟,杨 雷,石智中,梁 霄,雷 涛,刘多星
(汽车之家, 北京 100080)
0 引言
随着近几年智能问答的高速发展,阅读理解问答作为其重要发展方向之一,也逐渐成为各领域的研究和应用热点。不同于传统问答系统中利用知识表示和检索方式获取答案[1-2],基于阅读理解的问答利用模型直接对非结构化文档进行认知,从而获取给定问题的答案[3-5]。这种方式减少了知识的收集和表示过程,具有重要的研究和应用价值。
阅读理解问答根据答案的产生方式,分为选择式、抽取式、生成式等类型,其中,抽取式阅读理解根据问题从文档中抽取一个连续片段作为答案,不用考虑答案的序列生成问题,答案获取方式直接,标注相对方便,难度适中,因此对抽取式阅读理解的研究相对较多。一系列大规模、高质量评测数据集的发布,如SQuAD数据集[6-7]、DuReader数据集[8]、CMRC 2018数据集[9]等,促进了对阅读理解问答的研究。但是这些数据集偏向于通用领域或百科知识,内容广而泛,针对垂直领域专业性的知识少,因此,面向垂直领域的抽取式阅读理解的数据标注和应用研究十分必要。
在抽取式阅读理解数据集的标注过程中,标注人员提出的问题容易出现标注数据模式化、表达方式单一、多样性不足的问题,从而导致在应用中造成模型的准确性和鲁棒性较差。数据增强通常被用来解决这一问题,其原理是通过无监督、半监督或者有监督的方法构造新的训练样本,对原始的训练数据进行扩充,增加训练数据的量级和多样性,从而提升模型的准确性和鲁棒性。……
登录APP查看全文
