于淑云

（福建船政交通职业技术学院信息工程系，福州350002）

基于校园BBS 的舆情系统爬虫应用研究

于淑云

（福建船政交通职业技术学院信息工程系，福州350002）

在校园BBS的基础上研究了网络爬虫程序的4个关键模块：页面抓取、页面解析、任务调度和去重模块。探讨了HTMLParser和正则表达式在解析页面时的运用方法。在处理爬取数据时，改进了任务调度算法，提高了爬取速度，并针对校园论坛BBS经关键词搜索的页面进行了爬取。

爬虫；关键词；调度算法；舆情

0 引言

随着因特网应用的日益广泛，网络安全问题日益突出。公众通过网络表达出来的情绪、态度、意见和要求的集合形成了网络舆情［1］。对于高校而言，网络舆情因其主体知识层次高、参与意识强、好奇心重，个性化鲜明等特点，与其他网络舆情相比，有较强的特殊性，这就给高校网络舆情管理带来一定的困难。高校需要及时掌握校园网络舆情的发展情况。BBS论坛，作为学生最活跃的讯息交流平台，自然而然地成为校园网络舆情信息监控的重点。可以在校园BBS论坛上增设爬虫程序，建立起一个定向于校园的舆情数据收集与提取系统，通过在论坛讨论页面爬取和设置相应热点关键词来获取数据，从而实现对校园舆情的监控。目前爬虫技术已经非常成熟，研究也非常深入，基于论坛帖刷新频率高，爬取效率低的情况，本文改进了调度算法，提高了爬取效率。

本文使用爬虫称为聚焦爬虫［2］，又称主题爬虫（或专……