基于问答交互的答案句选择算法
2021-01-27侯佳正张绍阳
计算机与现代化 2021年1期
侯佳正,张绍阳,鱼 昆
(长安大学信息工程学院,陕西 西安 710064)
0 引 言
答案选择任务是自然语言处理中句子匹配任务(NLSM)的一个子任务,用来评估问题-答案对之间的相关性,最终输出问答对的匹配得分,是完成问答系统[1-2]、文本处理等任务的基础。问答系统的答案处理模块需要确定问题与答案之间的相关性,根据相关性得分对答案句进行排序,最终向用户返回相关性最高的一个或几个答案;文本处理任务中需要根据问题句、主题句去剔除文本中与问题、主题无关的句子。其精度直接影响整个系统的好坏,所以提高答案选择任务的准确率具有十分重要的意义。
传统答案选择算法利用词法、句法等一些特征来计算问答对的匹配程度。Yih等人[3]利用单词匹配、WordNet和词汇之间的相似度、命名实体匹配等丰富的词汇级别的语义特征进行答案句的选择。Barron-Cedeno等人[4]使用自然语言处理工具包提取问答对的命名实体匹配、关键词匹配、单词长度等特征,然后将这些特征输入SVM进行分类,从而实现答案的选择。Yao等人[5]利用依存句法分析,构建问题与候选答案句的语法分析树,最后使用逻辑回归模型判断问题和答案之间的依存关系。基于特征匹配的答案选择算法,特征固定,可移植性差,并且只聚焦于句子的浅层特征,没有关注句子的整体语义信息。
随着深度学习在自然语言处理领域的发展,有很多学者将目光开始投向于深度学习算法,提出了基于Siamese结构[6]的网络,在该结构中,相同的神经网络编码器(CNN或RNN)被应用在问答对上,将问句和答句编码到相同嵌入空间的句子矢量中,然后仅根据这2个句子向量进行相关性的判断。……
登录APP查看全文
