耿贞伟　张雪坚　邹舟

[摘 要]在互联网技术不断发展的推动作用下，人们获取信息的途径已经由原有的纸质材料和新闻媒体向网络化发展，而网络技术在各个领域的应用也表现出良好的态势，致使我国进入信息化时代，社会各类生产活动产生大量的数据信息，这为数据信息的处理和整合带来很大困难。而云平台技术的提出有效解决了大数据信息的处理和储存难题，网络爬虫技术在云平台中的应用更是实现了网页信息的快速获取，有效提升了云平台的整体性能，文中就针对网络爬虫技术在云平台上的实现与应用做出进一步探讨。

[关键词]网络爬虫；云平台；应用

中图分类号：TP965 文献标识码：A 文章编号：1009-914X（2018）12-0203-02

一、网络爬虫技术

1、网络爬虫基本结构

网络爬虫的主要作用是对互联网络中的一些信息程序进行手机和获取，是作为一种数据收集工具而存在。在浏览和使用互联网网页时，可以将其看成一个整体图，图中被分割成多个小图，每个小图代表一个节点，即一个网页，点击任意图进入之后就会进入一个新的网址，这与我们平时使用的超链接是相同的概念，可通过一个网页访问多个新网页，指导点击图片无关联网页位置，是一整个循环的过程。为此，网络爬虫在最初是以一个URL作为起始点，在进入新的网页之后又生成了新的URL队列，这一阶段不断重复的过程就是网络爬虫获取网络数据信息的过程。主要结构如图1所示：

2、网络……