施 威，夏 斌

(上海海事大学 信息工程学院，上海 201306)

基于Scrapy的商品评价获取系统设计*

施 威，夏 斌

(上海海事大学 信息工程学院，上海 201306)

随着电子商务的迅速发展和竞争愈加激烈，对于电商平台上第三方卖家而言，如何准确获取商品评论信息从而正确选择上架的商品变得愈来愈重要。目前第三方卖家在获取商品评价工作上主要依赖于人工收集信息，不仅效率十分低下，并且准确度得不到保障。为了帮助电商平台上第三方卖家高效并准确地解决这一问题，文中设计出了一种基于网络爬虫的商品评价获取工具。该工具实现了对一个畅销商品类目下的所有商品评论进一步细化与筛选，为用户提供更加直观的商品指标，同时固化存储商品评论为后续的进一步优化提供数据源。该系统主要技术采用Scrapy框架，开发语言采用Python2.7，经过测试后发现达到了良好的效果。

电子商务；网络爬虫；Scrapy；Python

0 引言

电子商务的兴起促进了商业模式的变革，作为最资深的电商平台，Amazon拥有巨大的用户群体，仅仅美国站的第三方卖家数量就超过20万。平台上每个商家店铺的运营好坏与商家的选品质量紧密相关，尤其对于平台上的第三方卖家。选品的效率越高，准确度越高，商品自然更加吸引消费者，店铺的客户群体也会更多。因此提高选品质量是提升店铺收益的重要手段。

目前选品工作的一个重要判断依据就是商品的评价信息，如何高效准确地获取商品评价信息并得出一些商品的相关数据指标，对于选品的质量至关重要。……