高阳 闫仁武 袁双双

摘 要：为解决海量数据导致用户信息过载问题，通过分析人民网、新浪网等网站的新闻网页数据，将传统方法与深度学习方法相结合，提出基于特征融合、CNN和GRU的多文档摘要方法（M-C-G）。首先对30种不同主题的新闻网页进行数据清洗，使用word2vec工具训练词向量模型，根据多种特征计算得到初步摘要结果;然后把8.3万条搜狐新闻语料文本数据输入带有CNN和GRU的Seq2Seq模型上训练;最后把初步摘要结果输入模型进行测试，得到最终摘要结果。实验结果表明，在ROUGE评测体系中采用该方法比现有方法准确率至少提高约2%，可有效帮助用户寻找有价值的文本信息。

关键词：特征融合;深度学习;Seq2Seq;CNN;GRU;文本摘要

DOI：10. 11907/rjdk. 201249

中图分类号：TP301文献标识码：A 文章编号：1672-7800（2020）010-0039-07

Abstract： In order to solve the problem of user information overload caused by massive data， this paper analyzed news data from news websites such as Peoples Daily and Sina.com. After combining traditional methods and deep learning methods， multi-document summarization method（named M-C-G） based on multi-feature fusion， convolutional neural networks（CNN） and gated recurrent unit（GRU） was proposed. First， the news text data of 30 different topics was cleaned. And the word2vec was used to train the word vector model. The preliminary summary results were calculated based on various characteristics. Then 83，000 SOHU news text data were used into a Seq2Seq model with CNN and GRU for training. Finally， the final summary results were obtained based on the preliminary summary results which were tested into the model. Experimental results show that the method in the ROUGE evaluation system is at least about 2% higher than existing methods and can effectively help users find valuable text information.

Key Words： multi-feature fusion; deep learning; Seq2Seq; CNN; GRU; test summarization

0 引言

根据中国互联网协会2019年发表的《互联网发展报告》，截至2018 年底，我国网站总数达523 万个，网页数量2 816 亿个。CNNIC研究资料显示，截至2019年6月，我国网络新闻用户规模达6.86亿。网络在带给人们丰富信息资源的同时，也带来大量冗余及片面信息。除此之外，部分网络媒体通过制造“标题党”以达到提升点击率的目的，使用户难以从中获得正确信息。在用户信息过载情况下，如何有效筛选出重要信息成为当今热点话题，从海量信息中获取关键信息的效率成为关键问题。文本摘要需求的增长，使自然语言处理（NLP）技术不可或缺，具有十分重要的研究意义和实用价值。

摘要在日常生活中经常使用，比如常见的电视新闻头条、书评等[1]。自动摘要是自然语言处理技术的一个分支，它可优化文档格式[2]。在信息过度饱和的今天，人们可以使用文本摘要技术从海量文本信息中提取重要部分，实现文本信息的提煉与总结[3]，更好地解决用户信息过载问题，提高用户获取关键信息效率。随着计算机软硬件的更新换代，神经网络在自然语言处理领域突飞猛进，基于深度学习的模型方法在NLP取得非常好的实验效果。

1958年Luhn[4]提出自动摘要技术概念，利用文档中词的词频和词的分布得到相关句子，从而实现自动摘要技术;1961年Edmundson等 [5]在统计基础上加入词性、句子位置和文章标题等因素，提出基于综合因素的自动摘要，指出线索词[6]对句子的重要性，包括“几乎不、不可能、显著地”等等;1994年复旦大学吴立德教授等在分析篇章段落之间的语义联系后，通过建立语义网提出基于统计分析思想的FDASCT系统;1997年上海交通大学王永成等[7]提出OA中文文献自动摘要系统，根据文献主题及特点获得摘要，该系统应用广、限制少、速度快、功能多、灵活性强;2007年徐永东等 [8]提出基于修辞结构理论的多文档表示结构（Multiple Document Framework，MDF），描述不同层面文本单元之间的相互关系以及事件在时间上的发生及演变。

2015年Rush等 [9]利用编码器-解码器模型首次将神经网络用于文本摘要，并尝试词袋模型、卷积神经网络和基于注意力机制的3种编码方式;同年，哈尔滨工业大学户保田等 [10]利用递归神经网络在超百万的短文本数据集上生成文摘，取得良好成果;2018年哈尔滨工业大学喻丽[11]提出基于LSTM和CNN的深度学习方法，实现对中文长文本自动获取文摘;2019年周才东等 [12]提出局部注意力与CNN结合模型，该模型可提取文本的高层次特征。

传统的多文档摘要方法存在冗余现象，且可读性较差。针对上述问题，本文对传统的多文档摘要模型进行改进：①融合多特征抽取初始摘要，并结合MMR与LD算法消除冗余;②改进传统的编码器-解码器模型，使用带有注意力机制的CNN与GRU模型;③将传统方法与深度学习方法结合，提出基于多特征融合、CNN和GRU的多文档自动摘要方法。实验结果表明，该方法在ROUGE评测体系中表现良好。

1 多文档文本摘要方法

自动摘要按技术可分为抽取式摘要和生成式摘要，按文本范围分为单文档摘要和多文档摘要，按文本语言分为中文文档和英文文档[13]。

1.1 抽取式自动摘要方法

抽取式即对已有句子进行排序和选择，在原文档基础上抽取关键句作为文本摘要句。生成式即在抽象语义表示模型基础上生成摘要[14]。

（1） 基于词频特征方法。TF-IDF中TF是词频，IDF是逆文档频率。TF-IDF实际上就是[TF×IDF]，常用来提取重要词语。在高词频率和低文档频率两个条件下，词语的TF-IDF权重会很高。计算公式如下：

（2） 基于LDA主题模型方法。LDA的全称是Latent Dirichlet Allocation，中文解释为潜在狄利克雷分布，是一种文档主题生成模型，也是一种三级分层贝叶斯模型[15]。其中，文档[D]到主题[T]服从多项式分布，主题[T]到词[W]服从多项式分布。以文档集合[D]作为输入，每个[D]中的文档都对应有不同主题概率，每个主题有不同的单词概率。这样形成两个矩阵，一个是文档到主题，另一个是词到主题。

（3） 基于图模型方法。TextRank等[16]在谷歌的PageRank算法上改进，首先把文本分割构建图模型[G=V，E]，由点集合[V]和边集合[E]组成，[E]是[V×V]的子集。把每个句子当作顶点，句子之间的关系当作边（可加权也可不加权），然后计算每个顶点[Vi]的权重[SVi]或[WSVi]，最后根据句子权重排序得到摘要。如果不使用加权的边则需要设定阈值，定义超过这个阈值就有边。[InVi]表示指向[Vi]的点集合，[OutVi]表示点[Vi]指向点的集合，非加权边和加权边计算公式如下：

其中，[d]为阻尼系数，代表从图中某点指向其它点的概率，大小一般为0.85。

如果使用加权边，那么任意两点[Vi]和[Vj]之间边的权重是[Wji]，则加权边顶点[Vi] 的权重[WSVi]计算公式如下：

1.2 生成式自动摘要方法

自动摘要技术多用抽取式方法，但该方法面对长且复杂的文本存在缺陷。

随着深度学习发展到NLP领域，关于神经网络的各种模型也逐渐应用于NLP。基于循环神经网络RNN的Seq2Seq模型[17-18]是自然语言处理文本摘要研究热点。该模型基于Encoder-Decoder框架实现[19]，在两段文本序列之间架设一条文本表示与语言生成模型的桥梁[20]。Bahdanau等在该方法基础上又增加一种注意力机制，并取得较好的实验效果。Seq2Seq是典型的端到端模型[21]，这种方法使摘要的准确率显著提高。

（1） 基于编码器-解码器方法。Seq2Seq属于Encoder-Decoder模型，能使用特定方法把给定的序列生成另一个序列。最简单的Seq2Seq模型由Encoder、Decoder和中间状态向量C三个部分组成。Encoder部分负责将输入序列压缩成指定长度的向量，即编码;Decoder部分负责根据语义向量生成指定序列，即解码;中间语义向量C可看作是所有输入内容的集合。编码器-解码器模型如图1所示。

对于Encoder的每个隐藏层[hi]都有一个得分，计算包括3种方法：

此外，Seq2Seq模型一般与Attention注意力机制搭配使用。Attention可以和远距离词语保持联系，进而解决向量保存信息不足的问题。在Decoder的每个步骤进行注意力机制计算。首先在Decoder state与Encoder中对所有的source state进行softmax，计算出attention weights，然后通过加权平均的source state计算出上下文向量attention output，最后合并计算attention output和Decoder的hidden state值。带有注意力机制的编码器-解码器模型如图2所示。

（2） 基于CNN的方法。CNN类似于生物神经网络[22]，是一种特殊的深层神经网络模型。CNN属非全连接和权值共享，也就是说CNN神经元之间的连接是非全连接的，而且同一层中某些神经元之间的连接权重可共享。

卷积神经网络开始是根据视觉神经机制设计的，目的是识别二维形状[23]，主要用作图像处理[24]，因为这种多层感知器的网络结构对平移、比例缩放、倾斜或其它形式的变形具有高度不变性。另外，卷积神经网络可通过层级结构提取数据的高层语义特征，解决因人工选择特征导致信息丢失的问题。

训练模型Encoder编码器中的CNN[25]将训练数据与卷积核相互运算，计算公式如下：

池化层和卷积层一样有滑动窗口，不同的是池化层通常不带参数进行数据遴选工作。本文用到的池化方法是max-pooling。

（3） 基于LSTM的方法。GRU全称是Gated Recurrent Unit，中文解釋是门控循环单元，可认为是长期短期记忆网络LSTM的简化版，在资源消耗和运行时间上更小，但性能却和LSTM旗鼓相当[26]。GRU改变长期短期记忆网络的门，将遗忘门、输入门和输出门变成更新门[r]和重置门[z]，在保留基本思想（遗忘和更新机制）基础上简化网络结构。同时利用更新门使每个单元学习长短期特征，减小梯度弥散的风险。

（4） 基于指针网络的方法。指针网络也称为Pre-Net模型，如图4所示，主要用来解决Seq2Seq模型中由输入数据决定字典大小的问题。

指针网络来源于注意力机制，通过编码器端的隐藏层信息与解码器端的隐藏层信息得到最终输出。

2 多文档自动摘要方法

本文提出一种结合多特征融合、CNN和GRU神经网络（M-C-G）的复合模型方法，将抽取式与生成式两部分结合进行多文档自动摘要生成。

2.1 相关概念

定义1 （新闻网站摘要清洗语料集）：

CleaningWebCorpus={ | u∈[1…newsum]}，其中，newsum为新闻网站摘要清洗语料集的语料条数，newTopicu、newTitleu、newContentu、newAddressu依次为第u条语料的主题编号、标题、正文、URL地址。

定义2（新闻网站摘要主题数据集）：

TopicsData={ |

u∈[1…topicsum]}，其中，topicsum为新闻网站摘要主题数据集的数据条数，topicIDu为第u条主题编号，topicNameu为第u条主题名称。

定义3（哈工大停用词有序列表）：

StopWordsList=[ |

u∈[1…stopsum]]，其中，stopsum为停用词列表数量，stopWordsu為第u个停用词。

定义4（近义词数据集）：

SynonymsData={ | u∈[1…synonymssum]}，其中synonymssum为近义词数据集的数据条数，mainSynonymsu为第u条数据的主要近义词，minorSynonyms为次要近义词。

定义5（同主题新闻网站摘要语料集）：

SameTopicCorpus={

sameTopicContentu}> | u∈[1…sametopicsum]}，其中，sametopicsum为同主题新闻网站摘要语料集的数据条数，sameTopicTitleu为第u条语料标题，sameTopicContentu为第u条语料正文。

定义6（断句符号有序列表）：

BreakPointsList=[

|

u∈[1…breaksum]]，其中，breaksum为断句符号列表数量，breakPointsu为第u个断句符号。

定义7（同主题新闻网站摘要断句语料集）：

SameTopicStopSentenceCorpus={ | u∈[1…maxsentencesum]}，其中，maxsentencesum为同主题新闻网站摘要断句语料集数据条数，stopPositionu、stopSentenceu、stopValueu依次为第u条句子位置、内容、权重。

定义8（同主题新闻网站摘要断词语料集）：

SameTopicStopWordCorpus={ | u∈[1…maxwordsum]}，其中，maxwordsum为同主题新闻网站摘要断字语料集数据条数，stopWordu为第u个词语。

定义9（关键词有序列表）：

KeyWordsList=[ | u∈[1…keysum]]，其中，keysum为关键字列表数量，keyWordsu为第u个关键字。

定义10（在融合多特征后的摘要结果有序列表）：

FirstResultsList=[ |

u∈[1…firstsum]]，其中，firstsum为摘要长度，firstSentenceu为第u个摘要句。

定义11（预选摘要结果有序列表）：

SecondResultsList=[ |

u∈[1…secondsum]]，其中，secondsum为摘要长度，secondSentenceu为第u个摘要句。

定义12（同主题下切分词字典数据集）：

TokenizeWordsData={ | u∈[1…tokenizesum]}，其中，tokenizesum为字典数据集的数据数量，tokenizeWordsu为第u个切分词。

定义13（最终摘要结果有序列表）：

LastResultsList=[ |

u∈[1…lastsum]]，其中，lastsum为摘要长度，lastSentenceu为第u篇文章的摘要句。

此外，本文方法还包括一些专有名词，主要用于表示基于特征融合的抽取式自动摘要方法专有名词，如表1所示。

2.2 数据预处理

与纯文本文档相比，HTML网页会插入大量的非文本信息，如图片、Flash等，这些非文本对文档摘要贡献不大， HTML网页的其它文本信息才需要重点关注。因此，在去除噪声数据的同时，需要充分挖掘网页结构信息的价值。

在开始本文处理方法之前需要对HTML网页进行爬虫处理，挖掘出标题和正文信息，根据这些信息人工分为30种不同主题并将其标记，以便进行后续操作。实验步骤如下：①对CleaningWebCorpus进行文本预处理，包括Hanlp中文分词、根据停用词列表StopWordsList去停用词、根据近义词数据集SynonymsData替换词语等等;②使用word2vec工具训练词向量模型W，并以。model文件形式存储在自定义路径下;③在每个主题下对SameTopicCorpus进行文本预处理，包括Hanlp中文分词、停用词列表、StopWordsList去停用词、根据近义词数据集SynonymsData替换词语等;④计算相同主题下每个词语的TF-IDF值，加载词向量模型W，将原词向量乘以TF-IDF的值作为该词语新的词向量;⑤根据断句符号列表BreakPointsList把所有断句符号替换成“|”，再以“|”符号进行断句操作，去除所有空字符串;⑥为保证长句不会比短句得分高，计算一个句子中所有词向量的加权之和的平均值作为句子向量，然后计算文档中所有句子向量的加权之和平均值作为文档向量;⑦获取主题新闻网站摘要断句语料集SameTopicStopSentenceCorpus。

2.3 多文档摘要算法流程

本文将抽取式与生成式两部分结合生成多文档自动摘要。基于M-C-G神经网络的多文档摘要方法算法流程如图5所示。

抽取式部分实验步骤如下：①将SameTopicStopWordCorpus词语去重放入LDA主题模型中训练，并设置num_topics值为1，得到同主题下句子的主题信息权重ZT;②用余弦公式计算句子向量与文档向量之间的夹角余弦值，得到余弦信息权重YX;③利用TextRank算法得到KeyWordsList，然后计算关键词个数/句子长度，得到一个句子的关键字权重GJ;④根据公式计算得到位置信息权重WZ;⑤由句子长度和目标长度的差别计算长度信息权重CD;⑥获取每个句子最终权重值：stopValue=ZT*YX*GJ*WZ* CD;⑦根据stopValue对SameTopicStopSentenceCorpus进行排序，选取TOP3*sametopicsum得到融合多特征之后的摘要结果列表FirstResultsList;⑧挑选出权重最大的句子作为最终摘要列表首句，利用MMR算法计算待选取摘要句子与已选取摘要句子的相似度[S1]，利用FuzzyWuzzy工具中LD算法计算待选取摘要句子和已选取摘要句子的相似度[S2]，根据每个句子[S1+S2]的平均值排序，选取TOPsametopicsum，以保证句子多样性;⑨按照SameTopicStopSentenceCorpus的stopPosition对句子进行排序，得到预选摘要结果列表SecondResultsList。

根据公式（9）计算得到位置信息權重：

[pos]为句子[P]在文档[D]中的位置顺序，例如[P]为文档的第1句话，那么[pos]的值就是1。[lenD]表示文档[D]所包含的句子数量。

由句子在文中位置，根据公式计算长度信息权重，流程如图6所示。

把抽取式部分生成的初始摘要结果输入生成式方法部分，生成式部分实验步骤如下：①对SecondResultsList进行文本预处理，包括Hanlp中文分词、根据停用词列表StopWordsList去停用词、根据近义词数据集SynonymsData替换词语等，得到同主题下切分词字典数据集TokenizeWordsData;②基于PyTorch框架构建Seq2Seq模型，由Encoder-Decoder组成并添加注意力机制Attention，使用CNN和GRU训练模型的Encoder。先利用CNN卷积核进行相互运算，然后进行最大池化层操作，再进行GRU， 使用LuongAttention训练模型的Attention，使用GRU训练模型的Decoder;③用80%搜狗数据集训练得到seq2seq训练模型M，用20%搜狗数据集做验证，预测摘要和实际摘要，与反向调整模型参数对比;④在模型M下训练摘要结果预选列表SecondResultsList，得到最终摘要结果列表LastResultsList，并把摘要句子用逗号拼接。

基于M-C-G神经网络的生成式部分操作流程如图7所示。

3 实验分析

3.1 数据准备

为验证本文提出方法的有效性，首先爬取人民网、新浪网的新闻文本数据（主要包括标题和正文），经过数据清洗和预处理得到初步的摘要结果。由于多文档摘要没有可供深度学习模型训练的大规模数据集，而深度学习方法需要大量数据集支撑，因此采用8.3万条搜狐新闻语料文本数据预先训练模型，同时解决OOV等问题，最后把初步摘要结果输入模型进行测试。

3.2 评价标准

文本摘要评价方法分为内部评价和外部评价两种。内部评价需提供参考摘要计算所生成摘要的质量，而外部评价不需要提供参考摘要，只需根据检索的准确度、文摘的分类等指标进行评价，是一种间接的评价方法。

内部评价是最直接也是学术界最常用的文本摘要评价方法，因此在比较模型性能时本文采用内部评价方法。内部评价又分为自动评测和人工评测，人工评测费时费力，容易受干扰，故本文采用自动评测，将ROUGE作为指标进行度量。

ROUGE是一种面向N元词召回率的评价方法[13]，使用生成摘要中N元词（N-gram）与参考摘要共同评价摘要。其由一系列评价方法组成，包括ROUGE-N、ROUGE-L等等。ROUGE-N中的N代表基于N元词的N-gram模型，计算公式如下：

其中，[refsummaries]指参考摘要，[N_gram]指N元词，[countmatchN_gram]指生成摘要及参考摘要中同时出现[N_gram]的数目，[countN_gram]指参考摘要中出现的[N_gram]数目。

ROUGE-L是基于最长公共子串的方法，如参考句子[S=W1W2W3W4W5]及系统句子[C=W1W2W3W7W8]， [S]和[C]的最长公共子串就是[W1W2W3]。

3.3 实验结果分析

实验在一台笔记本和一台台式机同步进行，笔记本配置为Windows7、i5-4210CPU、12G内存，台式机配置为Ubuntu16.04、i7-5700CPU、GTX1080GPU、CUDA10、8G显存、16G内存。

针对1_澳门回归_train数据，将几种方法在原始数据集得到的摘要结果在ROUGE评测体系进行比较，可见本文方法相比其它几种方法更优。

为更好地说明本文方法的普遍性，对30种不同主题数据进行测试，图8是本文方法针对不同数据的对比结果。

4 结语

本文研究了多文档摘要存在的信息冗余问题，将传统方法与深度学习方法相结合，创造性地提出基于M-C-G的多文档摘要方法。首先从人民网、新浪网等获取30种不同主题的新闻网页数据，经过数据清洗和数据预处理得到初步摘要结果。将8.3万条搜狐新闻语料文本数据在Seq2Seq模型上进行训练，使用初步摘要结果进行测试得到最终摘要结果。实验结果表明，该方法在ROUGE评测体系中表现良好，可有效帮助用户寻找有价值的文本信息。但本文方法还存在多文档摘要语料集规模不大;生成的摘要句子来源于不同文档，导致摘要不够连贯，影响摘要可读性的缺陷。后续要针对大规模多文档语料及提升摘要连贯性进行深入研究，以便摘要更加贴近生活。

参考文献：

[1] AL SALEH A B，MENAI M E B.  Automatic arabic text summarization： a survey[J].  Artificial Intelligence Review， 2015， 45（2）：1102-1121.

[2] REN M A F F.  Automatic text summarization[J].  Digithum， 2008， 4（3）：82-83.

[3] ALLAHYARIM，POURIYEH S， ASSEFI M， et al. Text summarization techniques： a brief survey[J].  International Journal of Advanced Computer Science & Applications， 2017， 8（10）：397-405.

[4] LUHN H P.  The Automatic creation of literature abstracts[J].  IBM Journal of Research and Development， 1958， 2（2）：159-165.

[5] EDMUNDSON H P，WYLLYS R E.  Automatic abstracting and indexing survey and recommendations[J].  Communications of the ACM， 1961， 4（5）：226-234.

[6] EDMUNDSON H P. New methods in automatic extracting[J]. Journal of the ACM， 1969， 16（2）：264-285.

[7] 王永成，许慧敏. OA中文文献自动摘要系统[J].  情报学报，1997，45（2）：92-97.

[8] 徐永东， 徐志明，王晓龙， 等.  基于信息融合的多文档自动文摘技术[J].  计算机学报，2007，30（11）：2048-2054.

[9] RUSH A M， CHOPRA S，WESTON J. A neural attention model for abstractive sentence summarization[C]. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing，2015：379-389.

[10] HU B T， CHEN Q， ZHU F. LCSTS： A large scale chinese short text summarization dataset[J].  Computer Science，2015（9）：2667-2671.

[11] 喻丽.  基于卷积神经网络的中文自动文摘方法[D]. 哈尔滨：哈尔滨工业大学，2017.

[12] 周才东，曾碧卿，王盛玉，等.  结合注意力与卷积神经网絡的中文摘要研究[J].  计算机工程与应用， 2019， 55（8）：138-143.

[13] 高扬. 智能摘要与深度学习[M]. 北京：北京理工大学出版社， 2019.

[14] GAMBHIRM， GUPTA V.  Recent automatic text summarization techniques： a survey[J].  Artificial Intelligence Review， 2017， 47（1）：1-66.

[15] MARTINEZ A M，KAK A C.  PCA versus LDA[J].  IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（2）：228-233.

[16] MIHALCEAR，TARAU P. Textrank： bringing order into texts[J].  Emnlp， 2004（11）：404-411.

[17] 董晨西.  基于深度学习的短文本自动摘要方法研究[D]. 北京：北京邮电大学，2019.

[18] 贾星宇.  基于深度学习的短文自动摘要生成算法研究[D]. 西安：西安科技大学，2019.

[19] YAO K， ZHANG L， DU D， et al. Dual encoding for abstractive text summarization[J].  IEEE Transactions on Cybernetics， 2018（124）：1241-1249.

[20] 王帅， 赵翔， 李博， 等.  TP-AS： 一种面向长文本的两阶段自动摘要方法[J].  中文信息学报， 2018， 32（6）：391-301.

[21] YU L，BANSAL M， BERG T L.  Hierarchically-attentive RNN for album summarization and storytelling[EB/OL].  http：//blog.sina.com.cn/s/blog_eaaaa9620102ywsg.html 2017.

[22] SHIH CHUNG B LO. A multiple circular path convolution neural network system for detection of mammographic masses[J].  IEEE Transactions on Medical Imaging， 2002， 21（2）：150-158.

[23] PEDRAMGHAMISI. A self-improving convolution neural network for the classi?cation of hyperspectral data[J].  IEEE Geoscience and Remotesensing Letters， 2016， 13 （10）：1537-1541.

[24] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， IEEE Computer Society， 2016.

[25] 王瑋. 基于C-R神经网络的生成式自动摘要方法[J]. 计算机与数字工程，2020，48（1）：112-118.

[26] RANAR. Gated recurrent unit （GRU） for emotion classification from noisy speech[EB/OL]. http：//www.doc88.com/p-6803897867028.html， 2016.

（责任编辑：杜能钢）