赵春霞（青岛职业技术学院，青岛，255666）

网站采集器技术分析与设计

赵春霞
（青岛职业技术学院，青岛，255666）

近年来，随着国内大数据战略越来越清晰，对网站数据抓取和信息采集技术要求越来越高，然而信息采集技术相对比较薄弱，笔者通过对网站采集器的技术进行分析，并提出了一些可实施的规则和措施，用于技术指导。

网站采集器；规则 ；正则表达式

1 网站采集的基本概念

网站采集，就是从网站页面中自动抽取指定的数据，完成数据采集的工作，需要配置一些规则来指导计算机的操作，这个规则的组合称之为“采集任务”，采集任务中至少要包括网页地址、网页的拷贝数据的规则。

2 网站采集规则

2.1 单个网页采集数据的规则

2.1.1 按照字符串获取的规则来指导计算机采集数据，一个网页是由浏览器网页源码进行解析后展示的结果，任何浏览器都可查看网页源码，打开网页源码后，在网页源码中通常（注意：是通常）都可以找到网页显示的内容，自然文章标题也可以找到，找到文章标题后，告诉计算机要采集这个标题数据，规则就是：从哪个字符开始获取到那个字符结束，例如：“”这样一个字符串，要获取“今天的天气很好啊”，就是告诉计算机从“”结束，将中间的字符采集下来，计算机就会对这个字符串进行识别，并按照定制的规则将所需要的数据获取。采集数据，就是要配置这样的规则来指导计算机将网页数据逐一采集下来；（2）第二种方式来指导计算机采集数据：通常情况网页的源码是一个XML文档，网页源码是一个结构化的、具有标记识别的一种文档。……