改进TextRank 的文本关键词提取算法
2021-04-23王俊玲
软件导刊 2021年4期
王俊玲
(山东科技大学计算机科学与工程学院,山东青岛 266500)
0 引言
关键词提取(Keyword Extraction,KE)是指使用一个词或多个词对文本内容进行高度总结与概括,在文本摘要[1]和文本分类[2]中都发挥着重要作用。随着社交网络的发展及用户数量的急剧增加,每天都产生大量需要处理的文本信息。面对海量信息进行处理与分析,如果能够准确提取文本内容的关键词,即能很好地对文本进行分析与概括,从而节省大量时间,提高效率。
随着研究的不断深入,传统人工方法已经无法满足用户需要。传统方法效率低下,实现过程复杂,无法很好地展现文本关键信息,因此对算法进行改进,找到更简单、便捷的方法成为研究热点。本文提出一种改进的TextRank[3]算法,将传统按句子划分的方法转变成按照部分进行划分,并结合图的概念,在每个部分中构建关键词图,最后根据设定的评价指标进行关键词提取打分,确定最终关键词,本文算法适应于较长的文本。
1 相关工作
关键词提取方法主要分为两类:有监督和无监督的提取方法。利用有监督方法提取关键词的步骤可概括为原始数据收集、文本预处理、数据集构建、特征构建、模型分类及对其进行评估。有监督方法包括基于传统机器学习的方法,如Frank 等[4]提出的KEA3 方法使用朴素贝叶斯模型(Naive Bayes,NB)对候选词进行了分类;Turney[5]在关键词提取任务中对比了遗传算法与C4.5 决策树的效果;Wang等[6]采用支持向量机(Support Vector Machine,SVM)筛选关键词,使用的特征包括单词的词频与位置信息。……
登录APP查看全文
