基于R语言的线上家居用品网购评论文本挖掘
——以亚马逊为例
2018-11-22南京林业大学210037
大众文艺 2018年22期
(南京林业大学 210037)
一、用户评论获取
第一步,用户评论获取。要分析网购用户评论,首先要在网页中获取用户评论。现阶段国内许多在线购物网站都防止爬虫,同时也做了很多反爬虫工作,而R语言在爬虫这点并不是很有力的工具,但是亚马逊的网页评论可以用R语言获取。在获取评论的过程中,需要注意有两点:(1)如何获取网购用户的ID;(2)怎样在网页的编码中获取网购用户评论的精确定位。选择的对象是近三年内国人购买相对较多的某品牌保温罐,分析的只针对一种商品,所以只需要考虑具体的用户评论结果。
二、词库构建与分词处理
1.词库构建与文本降噪
在得到评论文件后首先对评论进行第一步预处理。逐条检查进行错别字检查,以方便之后进行的操作。
在对评论文本进行了整理后,我们发现分词结果对评论的解释度并不够高,例如“后来发现右上角有一个坑”被分成了“后来”、“发现”、“右上角”、“有”、“一个”、“坑” ;若用此分词结果,进行分析后会遗失很多关键的信息。所以需要先进行词库建立,利用词库对信息筛选。
在词库构建过程中首先需要对评论进行分析,观察用户评论中对产品的需求或对商家的服务、物流等提出的意见或建议。词库的建立利用了短句的方式。首先对评论语句进行解读,对其中的信息进行筛选,找到差评中的关键信息如“包装太差”、“质量不好”、“物流缓慢”、“态度恶劣”等,并且对文本中的长句变为短句,联系上下文中的含义,其次对不必要的语气词,叹词等在断句中进行剔除,获得更为纯净的文本语句。……
登录APP查看全文
