APP下载

基于TI-Rank的弹幕关键词提取方法

2022-03-01何梓源张仰森吴云芳亓文法

计算机工程与设计 2022年2期
关键词:文本模型

何梓源,张仰森+,吴云芳,亓文法

(1.北京信息科技大学 智能信息处理研究所,北京 100192;2.北京大学 计算语言学研究所, 北京 100871;3.北京大学 王选计算机研究所,北京 100080)

0 引 言

弹幕文本包含了大量用户对视频的实时反馈,为了使尚未观看视频的用户提前准确把握视频内容,弹幕文本的关键词提取便尤为重要。无监督的关键词提取主要包括3种方法:基于主题模型的关机词提取方法[1-5]、基于统计特征的关键词提取方法[6-9]和基于图模型的关键词提取方法[10-13]。

本文选取了B站10种不同领域的近千部优质视频对其进行分析,发现B站官方提供的视频关键词范围过大与用户反馈的关键词存在较大偏差。本文基于传统TF-IDF和TextRank算法,针对网络视频弹幕信息文本较短、内容稀疏、话题分散、未登陆词较多等问题,提出一种基于TI-Rank(term theme frequency-inverse character document frequency-distance wordvector TextRank)的关键词提取模型。该模型能有效过滤弹幕中的干扰词汇,并基于弹幕文本的词频词义提取出更准确且贴近日常用语的文本关键词。考虑到关键词本身具有降序排列的特点,为突出排序靠前的关键词对提取准确率的影响,提出了三级梯度评价标准,并对已抽取关键词和人工抽取关键词进行准确率计算,实验结果表明,本模型抽取效果明显优于传统算法的效果。

1 基于TTF-ICDF模型的关键词提取

目前,传统的TF-IDF(term frequency-inverse document frequency)模型在处理关键词任务时是以词袋的形式获取关键词。它通过一种针对关键词的统计方法,评估某个词对完整文章或相关语料的重要程度,即一个词语的重要程度与它在文章中的出现次数成正比例关系,与语料库文章含有它的文章数频率成反比例关系。……

登录APP查看全文

猜你喜欢

文本模型
一半模型
初中群文阅读的文本选择及组织
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
FLUKA几何模型到CAD几何模型转换方法初步研究
如何快速走进文本