白曙光, 林 民, 李艳玲, 张树钧

(内蒙古师范大学 计算机科学技术学院,内蒙古 呼和浩特 010022)

自然语言处理是人工智能的重要组成部分,在学术研究和实际应用等各个方面都有重要地位,关键词抽取技术作为自然语言处理的基础技术之一,其结果的优劣直接影响后续任务的性能。

关键词抽取能够帮助读者获取文章的中心思想,迅速了解一篇文章,或者从海量语料中快速获得文章主题。在文本检索、文本摘要等领域,关键词抽取的准确程度对其他下游任务具有重要意义[1]。有效提取文本中关键词有助于读者快速、及时、高效、准确地获取信息。文本关键词可以提高文档管理和检索效率,还可为文本的分类、聚类、检索、分析和主题搜索等文本挖掘任务提供丰富的语义信息。因此,关键词抽取与其他下游任务是密切相关的。

1 文本关键词抽取研究难点

关键词抽取是自然语言处理领域的研究热点,目前存在以下六个研究难点,严重制约了关键词抽取技术的发展。

(1) 文本预处理不够准确。近几年文本表示学习、预训练等技术的发展有了一定提升,但是在精度和深度上仍不能满足研究需要,直接影响上层应用效果和智能水平。不能从语义上准确理解文本是关键词抽取技术的一大难点。

(2) 效率低,复杂度高,尤其是融合方法的复杂度更高。目前许多自然语言处理任务为了达到较好效果,需要利用大量标注数据进行训练,但是常会出现训练语料不足的问题,而且标注数据费时费力[2],所以,当数据资源有限时,如何增强资源启动和多语种场景的应用成为亟待解决的问题。……