郑惺 涂笑 陆海

摘要：基于文档的问答系统的研究目标是从给定的文档集合中筛选出某些文档作为用户问题的正确答案，其核心在于计算问题和答案这两个语句的相似度。在该文中，我们研究了各项文本结构特征和文本统计特征：Term Frequency-inverse Document Frequency（TF-IDF）和最长公共子序列（Longest Common Subsequence，LCS），同时我们设计了特定的卷积神经网络（Convolutional Neural Networks，CNN）结构并融合研究的特征，从而得到一种表达能力好的问答对的向量表示。我们提出的模型不依赖于任何外部的语言工具并且能够适用于多个领域和多种语言。实验结果表明，该卷积神经网络模型能够很好的表达文档之间的相似性，而且在加入TF-IDF和LCS特征之后该模型的性能进一步得到提升。我们利用这个模型在NLPCC-2017 Document-Based Question Answering（DBQA）比赛中Mean Average Precision（MAP）值能达到0.6809和Mean Reciprocal Rank（MRR）值达到0.6850。

关键词：问答系统；卷积神经网络；TF-IDF；LCS

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）03-0177-02

1 概述

问答系统在自然语言处理和文本检索领域是一项重要的研究任务。基于搜索的问答系统[1]的主要任务是计算两个语句之间的语义相似度并依照相似度排序筛选出最相似的答案[2，3]。本文所研究的基于文档集合的问答系统任务可以表述成：给定一个用户问题（q）和一系列答案文档集合（{a1， a2， …， an}）；我们需要从答案文档中挑选出最好的一个答案（ai， 1<=i<=n）。通过对本文数据集的研究发现，当前的文本匹配方法[4]无法直接用于解决本文中的问题，因此我们提出新模型主要为了解决一下问题：

1） 如何得到问答对之间的最有价值的特征？通过分析DBQA数据集，我们发现问答对主要是短文本，甚至有的只是一个地名或者人名。……