基于语义文本图的论文摘要关键词抽取算法
2021-09-09王晓宇王芳
情报学报 2021年8期
王晓宇,王芳
(1.东北财经大学管理科学与工程学院信息管理系,大连 116025;2.南开大学商学院信息资源管理系,天津 300071)
1 引言
关键词是一组用于描述文档重要信息的名词集合,可帮助读者形成对文本内容的初步印象,常被用作文献检索入口。基于关键词的文献主题标引极大地节省了人们从数据库或互联网查找信息所花费的时间和精力。由于科学论文包含了大量可重复利用的人类科学知识,关键词也成为文献信息计量最常用的分析单元。通过对文献主题分析,可以对文本进行聚类,并在此基础上形成对特定领域知识关联的清晰认识。目前,科学文献的关键词主要由作者在投稿时赋予,但是受作者知识结构和研究兴趣的局限,由作者赋予的主题词常常存在覆盖面不足、检索效率不高等问题,因此,CNKI(China National Knowledge Infrastructure)等文献数据库均会采用机标关键词进行补充。可以说,高效的关键词抽取是实现大规模文献检索以及分析的技术前提,故吸引了众多学者的关注[1-3]。
关键词抽取是信息抽取领域的重要研究内容,可被理解为从非结构和/或半结构化机器可读文档中自动提取结构化信息的自然语言处理任务。常见的关键词抽取算法可分为基于统计和基于机器学习两大类。基于统计方法的词语重要性通常由词频的统计量构成,如词频(term frequency,TF)[4-5]、词频-逆文档频率(term frequency-inverse document frequency,TF-IDF)、互信息[6-7]、频率分布[8-10]等,且主要遵循“在文本中频繁出现的词语是重要的,因而也更可能与其他重要术语相关联”这一假设[11-12]。……
登录APP查看全文
