一种基于Python的商品评论数据智能获取与分析技术
2018-06-13孙隽韬陈炳丰黄爱华
现代计算机 2018年14期
关键词:评价
孙隽韬,陈炳丰,黄爱华
(1.电子科技大学格拉斯哥学院,成都 611731;2.广东工业大学计算机学院,广州 510006;3.广东工业大学发展规划处,广州 510006)
0 引言
随着互联网技术的发展,网上购物已然成为社会的主流购物方式,而这种购物方式存在普遍的弊端,人们无法在购买商品时对其好坏进行评判,而只能通过商家的描述与买家的商品评论来辨别。对于卖家对商品的描述多数存在不确定因素,即买家无法辨别商家所陈述的是否属实。因此,买家对商品的评论成为评价该商品的重要因素。然而,对于购物者而言,要在短时间内获取大量评论信息并加以分析是不现实的,而在大量的评论样本集合中抽取个别样本分析会导致估计的评价缺乏准确性与可信性,因此需获取大量的评论数据并且加以分析才可得出可靠准确的评论结果。
为解决上述问题,本文通过使用Python爬虫,从网络商城上获取每一件商品下的所有评论,并且将这些数据持久化地保存于电脑硬盘中,同时对于已保存的评论数据,再将其通过分词手段将句子分割成若干词语,并对分割出的词语进行筛选,获取对评论商品有意义的特定词语,从而达到分析评论的目的。
1 相关工作
网络爬虫是获取互联网信息的重要工具。目前对于网络爬虫的研究与技术有很多[1-3],国内也有很多针对社交平台的网络爬虫[4-5],而社交平台上的信息抓取同获取网购商品评论是类似的。同时,针对于中文句子的分词处理,现有的基于不同语言的函数库如NL⁃PIR、结巴分词等都可胜任。……
登录APP查看全文
