基于Heritrix主题爬虫的定制与实现
2017-02-25湖北工业大学陈育兵
湖北农机化 2017年5期
湖北工业大学 陈育兵
基于Heritrix主题爬虫的定制与实现
湖北工业大学 陈育兵
本文在开源爬虫框架Heritrix基础上,进行多线程优化,定制面向搜狐新闻网页爬取的主题爬虫。试验表明,在改进扩展后的Heritrix基础上,能高效快速爬取搜狐站点下的新闻网页。
主题爬虫;定制与实现
随着网络信息的爆炸式增长,如何在网络中获得有用的信息已变得很困难。搜索引擎在信息检索中发挥的重要作用,是人们的日常生活不可缺少的工具。雅虎、谷歌、MSN、百度和其他的商业搜索引擎是许多通用的搜索引擎,最成功的典范,但随着网络变得越来越复杂,有时这些通用搜索引擎在信息检索中迷失方向。然而,在近年来方兴未艾的各种搜索技术,在禁区许可证技术为基础的流媒体搜索,元搜索,垂直搜索技术,并因此成为搜索领域的研究重点。
随着网络信息的迅速膨胀,搜索引擎的主要关注的是如何被发现许多准确和有效的信息,精确度成为搜索引擎的主要目标。这也是大多数人型搜索引擎的挑战。他们通常是非常低的精度,返回到搜索结果的用户成千上万,有效的结果可能只有很少甚至没有。由于各种制约因素的客观存在,门户网站的搜索引擎是难以解决的,因为他们是在几秒钟内数以万计的用户,在数亿的记录中,找出信息,以满足客户的需求,同时给信息量大,时间短,语言歧义的门户网站的搜索引擎带来了巨大的挑战。如何解决这个问题?……
登录APP查看全文
