APP下载

基于BERT-LSTM的答案选择模型

2021-06-02朱剑,饶泓,李姗

南昌大学学报(理科版) 2021年1期
关键词:特征文本信息

朱 剑,饶 泓,李 姗

(南昌大学信息工程学院,江西 南昌 330031)

智能问答系统是信息检索的一种高级表达方式,通过理解用户提出的问题,提供精确的信息服务。目前,智能问答系统在语音交互、在线客服、知识获取、聊天机器人等诸多领域被广泛应用。答案选择是智能问答系统的基础,是自然语言处理领域的重要研究方向。

答案选择的核心是根据问题和候选答案之间的匹配关系对候选答案进行排序,选择最适合问题的答案。因此,答案选择任务是一个典型的句子匹配任务,即寻找两个句子之间的匹配关系。但由于自然语言的复杂性,答案的智能选择面临如下挑战:

(1) 问题和答案在语义上存在联系,但是这种联系不是简单的语义相似性,不能仅以相似性作为是否准确的衡量指标。

(2)不同类型的问题所需要的答案形式不同,如“为什么”、“怎么样”、“什么时候”、“什么人”等,问题形式具有多样性。

(3)问题和答案存在长度差异,答案句子一般较长,包含有噪音和与问题无关的信息,从而干扰了对正确答案的判断。

(4)答案与问题可能不共享相同的词汇集。

本文结合BERT预训练模型和BiLSTM,引入注意力机制构建新的答案选择模型,以解决上述问题。

1 研究现状

1.1 传统方法

答案选择任务是给定问题q和对应的候选答案集合(a1,a2,…,as),从候选答案集合中找到能够回答问题q的正确答案ak,1≤k≤s,其中s表示候选答案集合的大小。

传统的答案选择方法主要依赖特征工程构建文本特征,使用语法树、依赖树等语言学工具提取句子特征,或者借助某些外部资源来解决问题,如Yih[1]等人基于wordNet构建语义特征;……

登录APP查看全文

猜你喜欢

特征文本信息
如何表达“特征”
在808DA上文本显示的改善
不忠诚的四个特征
基于doc2vec和TF-IDF的相似文本识别
订阅信息
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
展会信息
如何快速走进文本
线性代数的应用特征
健康信息