词袋模型和TF-IDF在文本分类中的比较研究
2021-11-28阎亚亚
阎亚亚



摘要:电商市场日益完善,网络购物成为更多人的消费方式,用户在电商平台上保留了大量的产品评论信息,通过人工对文本评论情感分类任务愈加艰巨,文本情感的自动分类作为自然语言处理技术的重要一门,近年来受到各界的广泛关注。本文首先对京东网页上爬取的某商品评论文本做预处理,重点研究词袋模型和TF-IDF两种文本特征选择方法下不同文本分类算法的分类效果,研究结果表明TF-IDF下的文本分类效果显著优于词袋模型。
关键词:词袋模型;TF-IDF;文本分类
中图分类号:TP391.1 文献标识码:A
文章编号:1009-3044(2021)28-0138-03
开放科学(资源服务)标识码(OSID):
Comparative Study of Word-bag Models and TF-IDF in Text Classification
YAN Ya-ya
(Chongqing Industrial and Commercial University, Chongqing 400067,China)
Absrtact: E-commerce market is becoming more and more perfect, online shopping has become more and more people's consumption mode, users have retained a large number of product comment information on the e-commerce platform, through manual text comment emotional classification task is becoming more and more arduous. As an important natural language processing technology, text emotion automatic classification has attracted wide attention in recent years. This paper first preprocesses the text of a commodity comment crawling on the JingDong web page, focusing on the classification effect of different text classification algorithms under the word bag model and TF-IDF two text feature selection methods. The results show that the text classification effect under TF-IDF is significantly better than that of the word bag model.
Key words: word bag model; TF-IDF; text classification
隨着大数据、云技术等现代化信息技术不断发展,电商市场也成为经济市场的重要部分,人们开始普遍习惯网络购物模式,很多购物平台保留了大量用户的评价信息,这些信息体现用户对商品的真实购买体验,对于新用户来说,根据他人的评论内容决定是否购买此商品,因此,这些评论信息对新用户的购买行为产生一定影响,同时,商家也可通过用户评论提高相关服务水平。类似此类评论信息更新速度快,信息量大,传统的人工文本处理不能满足发展需求,所以自动文本分类技术日益成为时代背景下的研究热点。
1文本分类概述及研究现状
文本分类可以理解为按照一定的分类标准或体系使用计算机对文本集实现对文本自动打标签的分类过程[1],文本分类的目的是将文档集合中为止类型的文本自动识别到一个类别或几个类别中。……
