王国珺，林 峰

（福州职业技术学院 福建 福州 350000）

1 引言

采用任何方式抓取到的微博评论数据通常比较乱，其中有一些无用信息，而我们的目标是只提取其中的中文文字内容，因此抓取的数据在分析之前，必须进行清洗。数据清洗分为3个步骤，即抽取、转换、加载。当数据量增大时，传统的清洗技术已无法满足企业之间的技术支持，所以本文结合MapReduce分而治之的思想设计出分布式数据清洗系统[1]。

2 微博数据的理解

微博数据首先是以半结构化XML格式存储的，每个评论版块内容用标签标识，在该对标签内部标签对记录该版块的主题名称，例如topic1，标签对记录该主题评论的具体内容，其中每对标签代表一个完整的评论。有多少对，就代表该主题下有多少条评论。提取微博的存储数据格式，核心结构如下所示[2]。

再看中间的具体内容结构，存储格式如下：

其中每对标签中对应的属性名个数并不一致，属性值用双引号（””）进行标识，属性值内容中也出现双引号内容时，用转义符号" "替代。如下面两行数据的举例中，有的属性值中有Score（评分）项，有的记录中没有。

3 微博数据清洗业务

微博数据统计分析中，对于某类评论内容较多，每天或每天中某时主题帖子评论的数量及长度，或哪些用户较活跃等，这些都需要将数据从XML存储的格式中提取出来，例如哪些内容是哪个主题的，每一条评论内容中指定属性值的提取等。该微博数据的结构决定了数据清洗大体是分两种情况。……