基于个人简历的Scrapy设计与实现
2018-07-06周显春
周显春
(三亚学院信息与智能工程学院,三亚 572022)
0 引言
网络爬虫是指在互联网上自动爬取网站上内容的程序,也称为Spider或网络机器人[1]。它广泛应用于搜索引擎、网络数据挖掘等领域,而且企业或者个人用户也利用网络爬虫从网络上收集价值的信息。例如,如果你要开发一个基于用户的饮食推荐APP,那么你需要网络爬虫能够在美团、饿了么、天下美食等网站许多网页上获取菜品的信息,如喜欢的人群、评价的等级、适合的季节等信息。
由于需要爬取的信息分布于不同网站、不同页面上,而这些页面是相互链接,可以采用宽度或宽度优先检索的方法访问每个页面,同时对每个页面的数据按照其特有的规律进行爬取。但是,每次都从头开发爬虫程序是非常费事、费力的工作。为了提高工作效率,应该利用已有的优秀的爬虫框架。利用优秀的框架不仅可以节省成本,提高程序的质量,更重要的是可以更专注于爬取所需的数据。
本文基于Scrapy爬取个人简历的数据,可以把收集的个人信息在人物关系分析、职位推荐等方面应用。
1 Scrapy架构概述
Scrapy[2]是基于Twisted框架的开源爬虫框架,具有简单、灵活、易于扩展、易维护、跨平台等特征,支撑Py⁃thon2.7及3.4+版本。
2 系统设计及代码
2.1 个人简历数据抓取模块
数据爬取模块主要使用Spider类的parse启动爬取,使用LinkExractor类初始化提取爬取网页中的链接,Selector类xpath、css方法提取网页的所需数据,Item类对爬取数据进行包装。
(1)数据爬取代码的实现def parse(self,response):
url_complex=LinkExtractor(restrict_xpaths='//div[con⁃tains(@class,"nav")]/ul/li')
for link in url_complex.extract_links(response):
if link.url:
yield scrapy.Request(link.url,callback=self.complex_parse)
def GB_special_parse(self,response):
url=response.xpath('//div[contains(@class,"peo⁃ple_show")]/a/@href')
#url_first=url= response.xpath('//div[contains(@class,"people_show")]/a/@href')
if len(url)>0:
url=url[0].extract()
else:
url=response.xpath('//dd[contains(@class,"brown")]/a/@href')[0].extract()
yield scrapy.Request(url,callback=self.complex_parse)
def complex_parse(self,response):
def add_basic_situation(s):
deal_dict=basic_function() #获取基本信息
school=deal_dict.get_school_infor(s) #获取……
