文/王予诺

（西安科技大学 陕西省西安市 710600）

1 前言

在大数据时代，企业所掌握的数据数量决定了该企业的核心竞争力。人们所能接触的数据数量决定了一个人的知识面和生活质量，如何能有效地选取对自己有利的信息逐渐成为人们所追求的能力。网络爬虫可以用来帮助我们获取有效的数据资源，比如：作为学生的你，是否想知道历年高考卷题以及答案来复习；作为找工作的你，是否想知道符合你理想条件的公司都有哪些，他们的标准都是什么；作为家庭妇女的你，是否想知道所有蔬菜水果的最佳搭配等。有了网络爬虫，我们可以轻松获取到我们所需的数据，而API server基于C/S模式，模拟客户端向服务器发送请求，可以轻松获取到海量资源数据，也满足你想拥有一个自己的API的愿望。

2 系统设计

该系统分为API和爬虫两个重要部分。从结构上可以分为客户端和服务器端。客户端包括curl和postman，用于向服务器发送HTTP请求。服务器端包括dbmovie爬虫部分和API服务器部分。这个系统主要操作过程如下:postman/curl从客户端发送一个HTTP请求API服务器已经部署成功,服务器通过调用crawler命令执行爬虫的任务,通过管道将下载的代码进行处理,生成目标文件,然后通过服务器返回结果,返回到客户端和显示一个爬虫内容。系统总体架构如图1所示。

在爬虫框架搭建好的前提下,通过URL发送一个请求到服务器,使用xpath的方法提取的位置信息,在服务器运行正常的情况下,通过一个循环访问数据,用户可以接收请求的页面响应和二进制格式的数据。……