周林 重庆大学城市科技学院

1 引言

校园网络平台主要包括校园论坛、校园贴吧、博客、微博、公众平台等，是学生最活跃的信息交流平台。大学生的互联网参与行为表现出参与意识强、知识层次高、个性化鲜明、好奇心重等特点，他们在“互联网世界”里非常活跃。从新媒体研究的视角来看，学生既是网络信息的接受者，也是网络信息的制造者与传播者，对校园网平台信息进行有效的监测，对督促学生良好的网络行为引导、正确价值观的构建等具有积极的意义和价值。校园网平台信息的主题相关性较强，因此选择主题爬虫“面向特定主题”的信息进行抓取，能够有效实现校园网平台信息的监测。

2 面向校园网平台的主题爬虫关键技术

2.1 采取策略

在爬虫技术应用中，针对不同类型的网络平台，所采用的爬虫关键技术有所区别，比如对于传统网页信息的采集，采用传统爬虫爬取更多页面，对于博客、微博、个人主页等类型的网络平台，考虑到其自行管理特征和实时更新特征，需要尽可能的缩短爬行周期，与信息更新的速度相匹配。在以往的应用中，简单咨询聚合（RSS）被广泛应用，但随着信息技术的不断发展，在不利用RSS的情况下，需要在爬行策略上进行思考，采取更多的、更有效的策略。从高校学生活跃度较高的网络平台情况来看，微博、博客、个人主页等是最受欢迎的，因此在具体的应用中，需要先对各网络链接类型进行区分，然后依据链接类型与链接结构爬取信息，缩短爬行周期，获得更好的效果。……