摘 要：计算机网络不断发展的今天，网络用户越来越多，人们在生活中也越来越依赖网络，通过网络获取各类信息，借助网络来搜索自己想要的资料和信息，通过网络来浏览各类平台，其中，网络爬虫是一种比较常见的获取信息的方法。网络爬虫还有另外一个称呼，即网络机器人，在编程过程中所使用的语言主要为Python，对浏览器中的各类信息进行搜索与获得，常见的有URL地址以及HTTP超文本协议等信息，在信息获取的过程中，不必作业人员持续工作，只需要网络自动爬取即可。对此，本文就Python的网络爬虫进行探讨，以期为相关研究提供参考。

关键词：技术研究;python语言;网络爬虫

作为一种面向对象的解释性计算机程序设计语言，python语言由于其操作简单和门槛低，特别是由于其在数据挖掘上的优势，已经成为目前最受欢迎的程序设计软件之一。而python语言最为公认的优势是在获取目标网络数据功能上的强大，这种数据获取方式又被业内称之为网络爬虫，相应的python语言的网络数据挖掘技术又被称为网络爬虫技术。

1 网络爬虫技术的主要内容概述

1.1 网络爬虫技术的分类

从整体上来看，网络爬虫可以分为两类，即聚焦网络爬虫和通用网络爬虫两种。我们先来看一下通用网络爬虫，这种爬虫方法在使用过程中，主要是对搜索引擎进行信息获取，采集网页中的信息，并对其进行分析，将其保存到本地，实现信息备份。一般来说，这一过程可以分为三个步骤，其一，获取网站的URL信息，并分析主机的地址，同时，下载所获取的信息。……