王燕嘉

【摘 要】 从互联网上获取信息进行分析，已经成为人们进行决策的重要手段。有效地从海量数据中获取正确的目标信息是当前的重点和难点问题。通用搜索引擎检索的结果由于主题相关性不强，无法满足特定用户的需求。文章在改进SVM参数寻优算法的基础上，提出了结合关键词过滤算法和适用于大数据分类的支持向量机算法，并利用设计的财务管理相关主题信息分类算法，构建了财务管理相关主题爬虫系统。实验结果表明，基于关键词与改进支持向量机的财务管理主题相关爬虫能有效地采集目标信息，能够较好地适用于财务管理舆情管理和财务管理危机管理等相关领域。

【关键词】 大数据； 主题爬虫； 关键词； 支持向量机； 寻优算法

【中图分类号】 C939 【文献标识码】 A 【文章编号】 1004-5937（2016）16-0126-07

一、研究综述

由于网络技术的发展以及互联网服务的提升，大数据的容量得以爆发增长。据国际数据公司（IDC）公司统计，2011年全球被创建和被复制的数据总量为1.8ZB（1021）。远远超过人类有史以来所有印刷材料的数据总量（200PB）[1]。比较通用的搜索引擎如谷歌、百度等，强调搜索覆盖面积大，但结果并不精确。随着人们对各项信息服务的领域细化要求逐步提高，通用搜索引擎无法解决精确定位的问题，只能部分实现资源发现问题[2]。相对而言，主题爬虫能够以较好的方式，专注于抓取Web中与主题相关的网页，能够根据特定的网页分析算法过滤掉不相关的链接[3]。与通用搜索引擎相比，减少了对资源的消耗，并且支持扩张性的检索处理。……