赵涵原

（天津大学仁爱学院 天津市 301600）

1 书籍爬虫研究介绍

由于Python语言是语言简洁且有广泛功能的语言但书写前首先需要了解HTTP、HTML的协议，并通过学习Python的基础，懂得基本的Python语法。并从中会使用安装第三方库，通过requests库等为基础对网页进行抓取数据。为了方便从获取的数据中解析出需要的信息，则需用解析库进行解析数据。并且解析后的数据需要选择器来提取数据，同时可以使用正则表达式re进行提取。但有些网站可能会设置反爬，所以在爬取数据之前可用Headers-agent冒充代理服务器进行访问。尤其是可以通过用浏览器监听的方式，利用URL再去请求数据。但如果遇到极端的反爬手段的话需使用模拟浏览器去进行数据爬取，可以通过冒充COOKIES、伪装IP、把验证码进行自动化识别等技术来破解反爬。

2 书籍爬虫的实现

豆瓣图书排行top250书籍爬虫。

2.1 环境及模块

以Python3.8和chrome浏览器为主要的环境，主要模块有lxml、requests、re、csv。

2.2 获取html源码

2.2.1 伪装代理服务器

当我们通过浏览器访问某个网址的时候，会向服务器发送一些Headers 头信息进行网页源码的解析，选取整个网页中的部分源码，再取出URL，将这些URL处置在准备就绪的URL队列中，并从处置的URL队列中取出未进行解析的URL，进行拆分解释源码，从而得到对应源的IP。但若存在不允许登录的情况，此时冒充服务器可以根据字段反映出用户端的服务器类型、服务器版本号型、服务器的操作环境和使用情况，网页排版引擎等客户端信息并伪装成浏览器来访问。……