融合词和文档嵌入的关键词抽取算法
2021-02-05刘啸剑
计算机与生活 2021年2期
祖 弦,谢 飞+,刘啸剑
1.合肥师范学院计算机学院,合肥 230061
2.合肥工业大学计算机与信息学院,合肥 230009
随着文本数据的日益增多,如何快速、高效、全面地分析及挖掘文本,从中获取用户所需信息是当前自然语言处理领域面临的一大挑战。关键词是最能反映文档主旨的词汇词组,简明扼要地概括并表达文档核心内容。因此关键词自动抽取技术能帮助人们迅速从海量数据中筛选出有用信息,从而有效提高文档检索效率。目前,关键词自动抽取技术已广泛应用于推荐系统、自动文摘[1]、文本分类[2]、信息检索[3]等领域。然而Web 中绝大多数文档都没有提供相应关键词,人工标注、手动编辑不仅繁琐费力,还极具主观性,因此需要研究出高效有用的关键词自动抽取方法。
目前,主流的关键词自动抽取方法分为有监督和无监督两类,有监督算法需要大量人工标注语料库,并预先训练好抽取模型,不仅耗费人力时间,同时标注的主观性也将直接影响抽取模型的效果。无监督算法主要基于以下几种思想:依赖统计特征信息(如词频特征、长度特征、位置特征等)的方法、依赖词图模型的方法、依赖Topic Model(主题模型)的方法,其中基于统计的方法忽略了文档中词语之间的相互联系,局限于仅通过统计相关特征来抽取关键词,导致抽取效果不好。基于词图模型的方法虽然充分考虑了词语间的相互关联,但缺乏语义层面的支持。而基于主题模型的抽取方法试图通过对文本潜在主题信息的挖掘来提高抽取效率,但实际应用中发现自动抽取的关键词主题分布较为广泛,并不能较好反映单篇文档本身的主题,另外主题模型需要事先构建,也增加了计算成本及问题复杂性。……
登录APP查看全文