胡海潮

（昆明理工大学，云南 昆明 650000）

随着网络技术的快速发展，信息社会进入大数据时代。其中，在线社交网络（Online Social Network，OLSN）所产生的数据特征尤其明显，其规模巨大，内容丰富，影响范围广[1-2]。因此，对此类社交网络数据的采集研究，分析人物特点，获得统计规律具有十分重要的研究意义。

但如何有效地提取出这些信息成为研发人员一个巨大的挑战。其中，新浪微博作为中国最具影响力的社交网络工具之一，所产生的数据有别于传统的线下数据，其数据规模非常大，其信息可以在网络中无限扩展，热点信息存在爆炸性增长特性，这些特点使得通过人工自己来寻求答案不仅费时，而且特别费力[3]。此外，虽然新浪提供了供开发者获取数据的访问编程接口（OpenAPI），但其对普通用户具有权限，抓取频率等都有严格的限制，且无法对微博内容进行搜索[4]。为此，本文提出了一款基于新浪微博的爬虫程序设计方法。

本文以移动端微博用户为例，设计并提出了一款以人与人关系为连接的网络爬虫，可以模拟登录并获取相关人物名称等信息，并将这些数据保存到本地，方便做进一步的数据挖掘与分析。同时，本文爬虫还通过解析关键路径以匹配，利用该匹配功能可以实现网页指定路径的数据提取，最后，通过广度遍历，逐层获得人物之间的关系[5]。使用本文爬虫程序，不仅稳定性强、易操作，而且还能够缩短数据分析人员的开发程序所需时间，使得他们可以将更多的精力放在数据分析上面。……