魏超

（陕西财经职业技术学院，陕西 咸阳 712000）

1 概述

Hadoop是一个非常流行的分布式大数据开源分析框架，可以解决很多结构化和非结构化的数据处理、存储等问题。主要由MapReduce、HDFS、Hive、Hbase四部分组成，MapReduce称为批处理框架，负责大数据的处理和分析；HDFS称为分布式存储，负责数据的存储，安全高效。由于其具有天然的处理非结构化数据的能力，本论文使用Hadoop框架为抖音用户行为进行分析[1-2]。系统整体框架如图1所示。

2 用户行为信息采集

用户行为信息采集主要是对抖音平台的用户信息进行采集，包括文本、视频、图片等信息。可以采用爬虫技术结合调用其开放接口API的方式进行采集。流程如图2所示。

图2 用户行为信息采集流程

本研究计划采用分布式爬虫架构，爬虫从指定域名网站的列表为入口点分析获得URL，同时把获得的URL压入待处理队列，供后续爬取使用。采用多线程方式来提高网站数据的采集效率。在线程向控制程序请求URL时，控制程序队列首位URL出队返回给现场实行爬取，当前页面爬取结束后会继续向控制程序请求新的URL，控制程序再查找队列首位URL并发送给线程继续爬取，以此循环。本文为了避免出现死循环，引入哈希机制，对加入队列的所有URL通过哈希计算来去掉重复值,去重具体流程如图3所示。

图3 爬虫去重流程

有些页面例如评论、留言、点赞会随着时间变化而变化，为了减少爬虫重复工作，采用倒序爬取策略。当爬取一个页面时，先对当前页面进行检查是否爬过，如果已经爬取，则直接获取当前页面评论、点赞等操作的时间，与数据库该页面评论点赞时间比对再根据时间由最新向后获取更新评论点赞，并存储到数据库，同时更新时间。……