王晓楠，李 杨，张海峰，张 宇，杨雪峰

（1.黑龙江省农业科学院农业遥感与信息研究所，黑龙江 哈尔滨 150086；2.黑龙江省农业科学院作物资源研究所，黑龙江 哈尔滨 150086）

关键字：爬虫；分布式；Nutch框架；二级哈希

随着中国经济的快速发展，现代化农业也在不断地进步和发展，高科技在农业领域中的投入也随之加大，目标就是转变传统农业的生产模式。通过抓取农业生产数据，将更好的种植数据提供给广大农业工作人员，对于解决现代农业种植过程中的问题非常有利。

1 基于农作物生长信息的采集结构设计

1.1 分布式爬虫架构

网络爬虫主要是通过采集网络中特定信息为后续工作提供精确的数据，因此，该论文运用垂直搜索引擎获取数据。为了更好的完成网络爬取任务，收集到更多符合条件的网页信息，运用主从分布式架构方式来实现对农作物生长信息数据的爬取，主从分布式架构主要包括了分节点的工作状态和监控以及URL的分发工作等，分节点获得主节点分发的调度任务以后，完成调度任务中的爬取工作，并且将爬取结果反馈给主节点。爬虫网络的主从结构，如图1所示。

1.2 分布式任务的优化调整

在分布式网络结构中，计算机并行化处理很关键，该论文运用Nutch框架实现分布式网络爬虫。在农作物生长信息数据爬取的过程中，主节点将所有带URL下载任务分配给不同的分节点进行爬取。论文设计分布式下载任务调度中，将URL映射到服务器上来完成下载的任务，计算公式如下：