陈皓 周传生

摘要：针对不同的网页数据环境设计有效的爬虫方案，更加有助于爬取信息的准度和效度。文中以Python及其Scrapy框架为基础，以贝壳網为例，通过对网站的页面源码结构进行深入分析，编写了行之有效的爬虫文件来获取目标网站信息。该设计方法可以应用到不同的多级页面信息类型网站，为基于Web的数据分析提供策略采集和分析支持。

关键词：大数据;网络爬虫;scrapy框架;数据采集

中图分类号：TP3        文献标识码：A

文章编号：1009-3044（2021）13-0003-03

Abstract： Designing effective crawling strategies for different network data environments can enhance the accuracy and validity of crawling information. Taking Bakclass.com as an example， this paper analyzes the structure of the source code of the website page based on Python and its Scrapy framework environment， and then composes effective crawler files to obtain target website information. Targeting the type of different multi-level information websites， this designing method supports network data analysis based on Web by acquiring and analyzing strategies.

Key words： big data; web crawler; scrapy framework; data acquisition

如今正值人工智能和物联网高速发展时期，大数据正是由于网络时代发展而衍生的必然产物，亚马逊网络服务（AWS）的大数据科学家John Rauser给这样定义：“大数据是任何超过了一台计算机处理能力的庞大数据量”。由于它是一个体量巨大，数据类别巨大的数据集，所以如何快速从中获取有效信息正是大数据所需研究的重点问题。网络爬虫则是解决这些重点问题的关键技术中的一种。网络爬虫是一种按照一定规则，自动地抓取网络信息的程序或脚本，另外还有一些不常使用的名字：蚂蚁、自动索引、模拟程序、蠕虫[1]。从本质上来说，爬虫就是利用自动化程序从网上批量抓取我们所需要的数据。

1 Web爬虫设计的技术基础

1.1 网页抓取策略

在爬取网页数据的过程中，待抓取的URL队列以什么样的顺序排列，在爬虫系统中是一个很重要的问题，因为涉及抓取页面的先后顺序，而这种决定URL排列顺序的方法，被称之为抓取策略[2]。网页的抓取策略主要分为两种：基于深度优先的遍历和基于广度优先的遍历。……