李 俊,吕学强

(北京信息科技大学 网络文化与数字传播北京市重点实验室,北京 100101)

0 概述

随着计算机信息技术和网络技术的快速发展,各行各业每天产生并积累大量数据,从海量数据中提取对人们有价值的信息已成为急需解决的问题。关键词抽取是在对象文本中自动抽取能够体现文本内容的中心概念或者重要词语,可帮助人们快速定位所需文档,因此其在自然语言处理、图书馆学和情报学等领域得到广泛应用[1]。

目前,关键词抽取方法主要分为有监督和无监督两种。有监督的关键词抽取方法通过二分类思想确定文档中的候选词是否为关键词。该方法将已标注的关键词数据作为训练语料库,通过语料库训练关键词判别模型,并利用该模型对待处理文本进行关键词提取,但是该方式需要人工提前标注大量语料,并且若在标注过程中存在误差,则会直接影响模型性能。无监督的关键词抽取方法无须事先标注训练语料,通过关键词重要性排序实现关键词抽取。该方法利用关键词权重等量化指标进行权重计算与排序,选出综合影响得分较高的若干词作为关键词。无监督的关键词抽取方法近年来受到学者们的广泛关注,其中的TextRank方法[2]在构建网络图时主要利用文档本身的结构信息,但缺少外部语义知识的支持,而基于Transformer的双向编码器表示(Bidirectional Encoder Representation from Transformer,BERT)语言模型能将词语映射成高维的向量,并保留其语义上的相似关系。

本文将文档信息与BERT词语语义信息同时融入基于网络图的关键词抽取模型中,通过词向量进行语义表示并利用BERT词向量加权方式计算TextRank中词节点的概率转移矩阵,以提升关键词抽取效果。……