刘茂林兰州大学法学院，甘肃　　兰州　730000

Robots协议的法律定性及其适用

刘茂林
兰州大学法学院，甘肃兰州730000

搜索引擎行业从其诞生之初到现在都一直在互联网行业占据相当重要的作用，尤其是近几年互联网云计算大数据等发展更让互联网搜索行业成为当前互联网企业争夺的一块大蛋糕，但随着各大互联网巨头的惨烈竞争，在搜索行业也出现了许多问题，例如2013年底发生的百度诉360爬虫协议一案，引发了业界对于robots协议的法律思考。

robots协议;搜索引擎;通行惯例;合同;约束

一、robots协议的概念

要明白robots协议是什么，首先要理解搜索引擎背后的的基本工作方式和运作原理，具体而言搜索引擎完成搜索任务是通过三步来完成的:第一步，搜索引擎抓取用户所需内容的目标网站的信息;第二步，搜索引擎开始分析和处理所搜集到的网页;第三步，搜索引擎根据用户所输入的关键词从索引数据库中找到目标网页，同时搜索引擎还会提供一些目标网页的其他信息。

Robots协议又被称为爬虫协议或机器人协议，该协议是在搜索引擎诞生并且发展壮大的背景下应运而生的，它是互联网企业间相互博弈的结果，是最终在商业利益，用户个人利益和网站自身安全的基础上达成的一种妥协。robots协议的主要是起到了一种排除作用，是一个针对搜素引擎中网络机器人即爬虫的协议，当某些网站不愿意被搜素引擎所抓取时，这些网络机器人就会自动排除这些不愿意被抓取的内容，这些内容将不会通过搜索引擎的搜索展现在用户眼前:例如腾讯的QQ空间就不允许搜索引擎抓取其内容，但是大多数网站是允许被抓取的。……