宁丹丹

文章编号： 2095-2163（2018）03-0061-04中图分类号： 文献标志码： A

摘要： 关键词： （School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Paraphrase is to change a sentence into another expression， meaning the same as before. Paraphrase is widely used in Natural Language Processing， for example， it is used in information retrieval， automatic abstracting， information extraction， sentence translation and so on. This paper focuses on the generation of sentence level paraphrase. In the research， first try the basic seq2seq model for sentence paraphrasing， then use bidirectional LSTM in encoder stage and join the attention mechanism， by comparing the generation results of sentences，demonstrate that the model with attention is better. In addition， further propose the copy mechanism and the coverage mechanism to improve the model. Among them， introduce the copy mechanism to solve special condition when names and places are present in original sentence. Under this condition， design to realize that the model can copy words without change. Experimental results show that the copy mechanism can improve the situation and generate better sentences. Finally， to address the common repetition problem of seq2seq， coverage mechanism is added on the basis of copy mechanism， which effectively improves this problem in sentences generation. And BLEU is used to evaluate the model results.

Key words：

作者簡介：

通讯作者： 收稿日期： 引言

复述（Paraphrase）是自然语言中普遍存在的一种现象，体现了自然语言的多样性。随着深度学习的发展以及自然语言处理各项技术的提高，对复述技术的需求也日趋强烈，因此，各大研究机构及高校等对复述任务的研究也越来越关注。复述研究的对象主要是有关短语或者句子的同义现象。现在已在信息检索、自动问答、信息抽取、自动文摘和机器翻译等方面应用广泛。在复述的研究前期，研究主要利用句子中词语之间的关系，句子的依存句法关系等进行复述生成，随着深度学习的发展，很多研究机构将深度学习技术应用到复述生成的任务中，并且具有显著的效果。本文采用序列到序列模型的方法，对句子级复述进行生成，在基本seq2seq模型上尝试3种改进方法，分别是双向LSTM 注意力机制的改进方法、加入复制（copy）以及加入 （coverage）机制的方法。其中，复制机制主要解决句子中词频比较低的词语的生成，例如在句子中会存在人名、地名等词频较低的词，在复述过程中，目标设定在生成的句子将这些名称进行复制，不进行改变，因此即有针对性地提出了复制机制。另外，seq2seq模型存在重复这一共性问题，本文采用覆盖机制对这一现象进行改进。经过如上3种改进方法，句子生成结果则获得了明显改进。

1基于序列到序列的句子级复述生成模型

在国内，句子级复述生成的研究也主要围绕seq2seq模型进行改进。……