赵光亮 令狐雨薇 朱德孙 赵顺艳 杨陶 陈凤

摘要：该文主要探讨BBS类论坛网页的文本数据的爬取与分析。首先，对该类论坛网页的HTML结构进行研究分析。在该类在论坛类网页中，文本数据主要包含链接页面中的全部主贴、全部回帖。其次，结合正则表达式、网络文本挖掘、Python工具、HTML等工具构建该类型论坛网页文本数据的抓取算法。为了便于用户阅读文本，还需要构建整理、清洗网页文本数据的算法，将抓取的网页文本数据整理为主题和回帖对应的json终极数据格局。

关键词：通用网络爬虫； BBS；正则表达式；Python语言

中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2018）24-0259-02

1 背景及意义

当今是大数据时代，大数据又包含无穷大的信息，而互联网中的网页数据是半结构化存在的，对我们真正有用的消息被很多广告、图标、链接等噪音元素遮蔽。怎么将有效的信息从网页数据中爬取出来并整理为适合用户阅读的最终“产品”，是当前整个大数据行业的重点问题之一。由于网页通常采取超等文本标记语言（HTML）来表达，所以提取网页有关的信息，应先获取 BBS类型网址，利用 Python语言对于任意 BBS类型的网页，获取其 HTML结构内容，再运用正则表达式匹配，构建一个算法用于提取该页面全部主贴、所有回帖，并按Json格局开始存储。

2 分析方法

2.1 正则表达式

本文提及的网络爬虫算法主要是利用正则表达式模糊匹配所需的网页信息，正则表达式的主要是模糊匹配文字的最佳工具。它具有很强的灵活性、逻辑性和功能性，可以通过简单快捷的方式对字符串实行复杂的控制。……