APP下载

融合信息熵与多权TF-IDF的营销评论关键词提取算法

2020-03-18何利力

智能计算机与应用 2020年9期
关键词:文本

李 璐, 何利力

(浙江理工大学 信息学院, 杭州 310018)

0 引 言

随着“互联网+”技术日趋成熟,基于“互联网+”营销企业需要根据不同属性对用户进行类别划分,为不同类别用户制定不同的营销策略,评论的质量可作为用户的一个属性。评论属于自然语言,人为对评论的质量评估,是可行的,但评论数量过大,人为评估速度慢,无法满足现营销企业的需求。自然语言处理针对结构复杂的文本信息进行处理,其中关键词的提取是基础与核心技术,在检索信息、文本分类、信息匹配、话题跟踪、自动摘要、人机对话等领域有广泛的应用[1-3]。

在自然语言处理领域中处理提取评论关键词的方法大致可以分为两类:监督学习,无监督学习[4]。监督学习是从特定的训练数据集训练出函数模型,根据函数模型判断该词语是否属于关键字类别,对训练集的要求较高,通常需要人工预处理。在无监督学习中,无法预知样本类型,需要根据样本数据间的内在结构对样本集进行聚类,使同一类别数据差距最小化,不同类别数据差距最大化[5]。常见的主流无监督关键字提取方法可以分为基于TF-IDF数值统计的关键词提取、基于LDA主题模型的关键字提取、基于词图模型的关键字提取3种类型[6-7]。上述方法都有各自的优点和局限性。

本文主要针对TF-IDF展开相关研究,综合考虑评论信息中词语的位置、词性、词长3种影响因子,对每种影响因子赋予一定的权重,最后加权得到最终的特征权重,获取权重最大前5的词语作为该短文本的关键词。……

登录APP查看全文

猜你喜欢

文本
重点:论述类文本阅读
重点:实用类文本阅读
初中群文阅读的文本选择及组织
作为“文本链”的元电影
在808DA上文本显示的改善
“文化传承与理解”离不开对具体文本的解读与把握
基于doc2vec和TF-IDF的相似文本识别
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
从背景出发还是从文本出发
如何快速走进文本