融合信息熵与多权TF-IDF的营销评论关键词提取算法
2020-03-18何利力
智能计算机与应用 2020年9期
关键词:文本
李 璐, 何利力
(浙江理工大学 信息学院, 杭州 310018)
0 引 言
随着“互联网+”技术日趋成熟,基于“互联网+”营销企业需要根据不同属性对用户进行类别划分,为不同类别用户制定不同的营销策略,评论的质量可作为用户的一个属性。评论属于自然语言,人为对评论的质量评估,是可行的,但评论数量过大,人为评估速度慢,无法满足现营销企业的需求。自然语言处理针对结构复杂的文本信息进行处理,其中关键词的提取是基础与核心技术,在检索信息、文本分类、信息匹配、话题跟踪、自动摘要、人机对话等领域有广泛的应用[1-3]。
在自然语言处理领域中处理提取评论关键词的方法大致可以分为两类:监督学习,无监督学习[4]。监督学习是从特定的训练数据集训练出函数模型,根据函数模型判断该词语是否属于关键字类别,对训练集的要求较高,通常需要人工预处理。在无监督学习中,无法预知样本类型,需要根据样本数据间的内在结构对样本集进行聚类,使同一类别数据差距最小化,不同类别数据差距最大化[5]。常见的主流无监督关键字提取方法可以分为基于TF-IDF数值统计的关键词提取、基于LDA主题模型的关键字提取、基于词图模型的关键字提取3种类型[6-7]。上述方法都有各自的优点和局限性。
本文主要针对TF-IDF展开相关研究,综合考虑评论信息中词语的位置、词性、词长3种影响因子,对每种影响因子赋予一定的权重,最后加权得到最终的特征权重,获取权重最大前5的词语作为该短文本的关键词。……
登录APP查看全文
