阳黎明，苏理云

(重庆理工大学 理学院，重庆 400054)

基于Nutch爬虫的电商交易价格统计研究

阳黎明，苏理云

(重庆理工大学 理学院，重庆 400054)

将电商交易数据纳入价格指数架构是目前统计工作关注的焦点。应用大数据技术，将Nutch爬虫搭建在分布式集群上，构建分布式网络数据抓取系统，同时结合最新的AP聚类算法对数据进行预处理，然后对网上数据进行价格指数建模，进行价格指数试算。试算结果表明：基于分布式集群下的Nutch网络爬虫技术较好地完成了网络交易数据抓取任务。因此，计算的网上交易数据价格指数可较好地反映市场价格变化趋势。

电商交易数据；分布式集群；Nutch；价格指数

随着电子商务发展的不断深入，政府统计部门和行业统计者对电商行业发展的关注度随之提高，大数据理论的快速发展对电子商务的影响日益显著[1-3],电商交易大数据对政府统计工作的改革创新也产生了积极的作用[2]。 本文开展了基于大数据理论指导的电商价格指数研究，对了解大数据在网上交易的应用具有现实意义。

开展电商交易价格的统计研究，重点是研究将电商交易大数据纳入计算价格指数的数据框架。电商数据的融入对价格指数构建将是重要补充，对增强价格指数的可靠性和探索开发以网络交易数据为基础的其他经济指标提供了经验支撑，对开展大数据的网络应用提供了实践依据。

1 电商价格指数理论

网络交易作为时下热门的消费方式，关乎企业和每个消费者。……