王坤 张益民

摘要：文章在使用爬虫获得不同种类的热点数据后，提取了一些关于用户和微博间的一些基本相关数据，并用最新的spss分析软件进行清洗数据和分析软件中的数据，运用单因素方差分析法，比较不同话题分类样本和话题样本对热门微博下的粉丝数、关注数、转发数、评论数、点赞数这些观测值有没有产生显著性影响，从而研究分析出公众对哪方面的热门话题更感兴趣。

关键词：微博;爬虫;方差分析;热门话题

0引言

由于热门话题内容复杂，普通网民往往缺乏对专业性较高问题的判断能力，需要在新浪微博上找到热点话题，抓取热点数据，为人们从海量信息中提取有价值的信息节省时间，正确引导普通网民思考问题的角度和趋势。对于热点研究方面角度不同，方法多样，运用于的领域也不同，本文着重关注某一方面热点数据，自建合理scrapy框架，运用于微博大量的数据爬取，实现数据的获取、查找、整理与分析。[2]

1爬虫系统设计

Scrapy框架用于对微博上的热门数据抓取。当爬虫程序成功登录到微博并获得微博页面后，可以解析HTML脚本并将其提取到所需的数据中。一篇热门微博文章的主要数据包括：用户昵称、用户ID、关注数、粉丝数、微博内容、转发数等。[1]使用爬虫爬取数据的主要流程有以下三步。

1.1微博内容获取

在微博登录方面，我们使用一种简单的方式：抓取微博登录cookie[4]，然后使用cookie登录微博。这样就可以浏览某个人的微博内容了……