曾泓竣 曾千容

1.广西大学商学院，广西 南宁 530004；2.北海市海城区人民检察院，广西 北海 536000

一、网络爬虫概念与目前的爬虫规则

网络爬虫，是一种用来自动挖掘互联网信息的网络机器人，其目的一般用于编纂网络索引，也可以用于网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫始于一张被称作种子的统一资源地址(URL)列表。爬虫在执行的过程中复制归档和保存网站上的信息，这些文件通常储存，使他们可以较容易的被查看，阅读和浏览他们存储的网站上并即时更新的信息。

robots.txt是一种ASCII编码的文本文件，通常存放于网页服务器中，它将提示网络爬虫哪些网页不应被抓取，哪些网页可以抓取。但这只是一个约定俗成的规范，并不具有法律效力，并不能保证所有爬虫都准守这一规则。

目前，我国对爬虫技术还没有专门的法律法规加以规定。在通常意义上，爬虫技术只是更快速有效地收集互联网中的内容和信息，因此从技术中立的角度来看，爬虫技术本身并没有存在任何违反现有的法律法规之处。随着大数据产业的快速发展，数据爬取随着各网络主体对资源的争夺而越发激烈。数据爬取行为存在越来越多的问题和担忧，爬虫技术带来的各种问题和顾虑日渐增加。

二、在爬虫使用中涉及到的知识产权问题

由于爬虫的工作方式是通过解析代码，为了规避网站经营者设置的反爬虫措施，爬虫运营方有可能会采取伪装行为。……