APP下载

基于Heritrix主题爬虫的定制与实现

2017-02-25湖北工业大学陈育兵

湖北农机化 2017年5期
关键词:信息检索搜索引擎信息

湖北工业大学 陈育兵

基于Heritrix主题爬虫的定制与实现

湖北工业大学 陈育兵

本文在开源爬虫框架Heritrix基础上,进行多线程优化,定制面向搜狐新闻网页爬取的主题爬虫。试验表明,在改进扩展后的Heritrix基础上,能高效快速爬取搜狐站点下的新闻网页。

主题爬虫;定制与实现

随着网络信息的爆炸式增长,如何在网络中获得有用的信息已变得很困难。搜索引擎在信息检索中发挥的重要作用,是人们的日常生活不可缺少的工具。雅虎、谷歌、MSN、百度和其他的商业搜索引擎是许多通用的搜索引擎,最成功的典范,但随着网络变得越来越复杂,有时这些通用搜索引擎在信息检索中迷失方向。然而,在近年来方兴未艾的各种搜索技术,在禁区许可证技术为基础的流媒体搜索,元搜索,垂直搜索技术,并因此成为搜索领域的研究重点。

随着网络信息的迅速膨胀,搜索引擎的主要关注的是如何被发现许多准确和有效的信息,精确度成为搜索引擎的主要目标。这也是大多数人型搜索引擎的挑战。他们通常是非常低的精度,返回到搜索结果的用户成千上万,有效的结果可能只有很少甚至没有。由于各种制约因素的客观存在,门户网站的搜索引擎是难以解决的,因为他们是在几秒钟内数以万计的用户,在数亿的记录中,找出信息,以满足客户的需求,同时给信息量大,时间短,语言歧义的门户网站的搜索引擎带来了巨大的挑战。如何解决这个问题?……

登录APP查看全文

猜你喜欢

信息检索搜索引擎信息
订阅信息
医学期刊编辑中文献信息检索的应用
基于神经网络的个性化信息检索模型研究
网络搜索引擎亟待规范
展会信息
广告主与搜索引擎的双向博弈分析
教学型大学《信息检索》公选课的设计与实施
公共图书馆信息检索服务的实践探索——以上海浦东图书馆为例
搜索,也要“深搜熟滤”
健康信息