韩轶 聂晶

近年来，随着移动互联、人工智能、大数据、云计算等新技术的迅速发展与普及应用，人们的工作、交往和生活方式都发生了深刻变化，数据成为驱动社会发展的新型生產要素、各行各业增强竞争力的重要源泉。但在大数据收集过程中，也存在着各种违法犯罪问题。网络爬虫（Web Crawler）作为一种能快速精准地获取数据信息的基础性网络技术，近年来得到了越来越多的青睐和应用。如何对其进行规制，驱动其向好向善，成为当前重要的法治议题。

“小爬虫”的“大角色”

网络爬虫，又称为“网页蜘蛛”“网络机器人”，是一种按照一定的规则，自动抓取网络信息的程序或者脚本。它能在特定程序的驱动下，模仿人工点击从网站、手机应用、小程序或搜索引擎中检索、提取、存储数据。我们可以形象地将它们理解为一种爬行在网络上的蜘蛛，它们根据程序的指令，通常沿着URL（网址）这根蛛丝，在互联网这张大网上爬来爬去，寻找和带回所需要的数据资源。我们熟知的百度、搜狗、谷歌等搜索引擎，其技术核心元素之一就是“网络爬虫”。例如百度蜘蛛，它通过互联网入口爬取网页，实时存储并更新索引，然后为用户提供检索服务。

自从1993年第一个网络爬虫程序——“互联网漫游者”被开发出来，网络爬虫这种便捷高效的搜索技术便得到了业界关注。特别是随着数据资源的爆炸式增长，网络爬虫的应用场景也变得越发广泛与多元，长期活跃于市场调查、产品研发、金融分析、舆情监控、风险预测等领域。……