赵宇兰

(山西大学商务学院信息学院，山西 太原 030031)

0 引言

随着大数据时代的到来，人们对数据的获取、统计的需求日益增大。爬虫技术的不断成熟为人们获取互联网数据提供了极大的便利。在农业领域，人们开始将农业数据与大数据技术相结合，运用大数据的采集、存储、分析以及可视化等技术，帮助人们快速挖掘、分析出数据背后有价值的信息，降低农产品生产、销售过程中不必要的风险。本文以中国饲料行业信息网中玉米的销售价格为数据源，采用网络爬虫软件GeeSooker进行数据采集和存储，以玉米市场价格的历史时间序列建立价格预测的ARIMA模型[1]，进一步分析玉米市场价格的波动状况和变化趋势。

1 预测技术的概述

1.1 网络爬虫技术

农产品市场价格挖掘预测是基于互联网农业数据，为了满足农产品市场价格数据挖掘预测的需求，本文采用网络爬虫技术获取互联网数据，数据获取过程如图1所示。

图1 数据获取组成图

其中，爬虫引擎[2]用于处理爬虫系统的数据流处理并触发事务；调度器用于接受引擎发送的请求，将其放入处理队列，并在引擎再次请求时返回；数据清洗模块是将下载下来的信息进行处理，剔除无效信息和冗余信息；下载器用于下载网站页面内容，并将其传递给下一个处理业务；爬虫规则用来指定下载网页，编写用于分析网站源码并听取信息。

1.2 数据的采集过程

本文采用GeeSooker爬虫浏览器对中国饲料信息网的2018年1月到2019年2月玉米销售价格进行采集，采集过程[3]如下：