文 / 张金平

在我国3B 大战中，爬虫协议的法律性质受到多方关注，且争议颇多。本文从有关爬虫协议的国外案例入手，分析不同国家法院对爬虫协议的法律定性，发现这些国家对爬虫协议案件的审理中，都审查了爬虫协议与版权法规则的关系，或正面认定特定爬虫协议构成版权法意义上的技术措施，或反面认为数字环境下版权人不采取爬虫协议可构成默示（版权）许可，抑或认为爬虫协议不具备版权法意义。尽管这些国外案例的判决并不相同，但对于网络市场和网络法律秩序都在发展中的我国来说，仍具有重要的参考意义。

在最近的“3B 大战”中，爬虫协议的法律性质成为重要焦点：它是搜索行业的技术标准？是合同法上的协议？还是具有其他法律意义？本文将分析国外有关爬虫协议的案例，以期能够为我们准确定位爬虫协议的法律性质有所助益。

一、爬虫协议概述

爬虫协议的概念，源自于英文的“Robots.txt”或“Robot Exclusion Standard”，国内又译为“爬虫规则”、“机器人协议”等【1】。爬虫协议，最早由马丁·科斯特于1994 年3 月6 日提出，其目的是控制爬虫程序1.爬虫是一个计算机术语，指代那些在英特网间爬动并从各种网页中搜集信息的计算机程序和自动化脚本。搜索引擎商是爬虫的主要使用者，黑客以及一些网页信息搜集者也常常使用爬虫。大量访问网站，减少网络堵车。按照马丁·科斯特的设想，爬虫协议本身并不是网站所有人与网站用户之间达成的协议，而是网……