庄旭东 王志坚

摘 要：随着互联网的快速发展，大数据时代的来临，网络上的数据和信息呈爆炸性增长，网络爬虫技术越来越受欢迎。本文通过以抓取二手房出售数据为例，探索R语言爬虫技术的网页信息抓取方法，发现基于R语言的rvest函数包与SelectorGadget工具实现的网页信息爬取方法比传统方法更加简单快捷。

关键词：R语言;网络爬虫;网页信息抓取;二手房

传统的网络搜索引擎在网络信息资源的搜索中起着非常重要的作用，但它们仍然有很多限制。现如今，在网页信息抓取上R语言有其独特的优势，用它所编写的爬虫语法相对直观简洁，规则更加灵活简单，对操作者要求也相对较低，不必深入研究某一软件或编程语法，也不必具备很多网页方面的相关知识，非专业的人甚至是初学者，也可轻松掌握其方法，快捷方便获得所需的网页信息。除此之外，R软件可以非常自如的处理百万数量级以下的数据，而且其本身就是一个用于统计计算和统计制图的功能强大的工具，运用R软件进行操作，所实现的爬虫技术的网页信息抓取撷获得到的数据，可以直接进行统计分析和数据挖掘，省去了数据的再导入或整合的步骤，更加直接方便。

1 研究方法概述

本文运用R软件中的rvest函数包，来实现抓取网页信息数据。运用该包中read_html（）、html_nodes（）和html_text（）三个函数与SelectorGadget工具（以下简写为工具）相配合。使用read_html（）函数抓取整个网页的原始HTML程式码，再使用html_nodes（）函数从整个网页的元素中选出由工具获取的路径的信息，最后使用html_text（）函数将HTML程式码中的文字资料提取出来得到我们所需要的数据。……