分布式网络爬虫设计研究

2017-09-30孟军覃海奎刘洁甘宇健

现代计算机 2017年24期

孟军，覃海奎，刘洁，甘宇健

分布式网络爬虫设计研究

孟军1，覃海奎2，刘洁2，甘宇健1

（1.广西财经学院电子商务系，南宁 530000；2.广西财经学院计算机科学与技术系，南宁 530000）

随着大数据相关技术的不断发展，数据的重要性越来越大，如何低成本第获取大量数据是一个值得研究的问题。通过网络爬虫采集数据是一个方便且成本较低的网络数据获取手段，而为了获取更多的数据，单机运行网络爬虫显然是不够的。因此，研究分布式网络爬虫软件，提出一个可行且成本较低的实现方案。

网络爬虫；大数据；分布式

0 引言

网络爬虫又被称为网页蜘蛛、网络机器人，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本[2]。数据爬虫可以在网页之间不断的蠕动获取特定的需要的信息，并将它整理收集保存至用户指定的存储介质。传统垂直网页爬虫常常是单机版的，且操作复杂，需要编写爬虫脚本。而大多的企业更是自己开发爬虫程序，这就花费了大量的时间和资源。能力有限的个人用户更是无法完成独立完成爬虫程序的编写。经过大量的研究分析，编写一个易用的、高效的网络爬虫程序，使没有编程基础能力的普通用户可快速使用，使企业用户可快速使用或可深度定制使用的网络爬虫程序是符合当前市场需要的。