APP下载

基于Heritrix体系结构的垂直搜索引擎研究

2012-04-29陈浩关巍

电脑知识与技术 2012年15期

陈浩 关巍

摘要:垂直搜索引擎作为一种新型的搜索引擎服务模式,它的出现彻底解决了通用搜索引擎中一直存在的信息量大、查询不准确、深度不够等一系列问题。该文通过对Heritrix体系结构的深入分析,详细阐述了Heritrix在垂直搜索引擎中实现数据搜集的整个过程。

关键词:垂直搜索引擎;网络蜘蛛;Heritrix;体系结构

中图分类号:TP311文献标识码:A文章编号:1009-3044(2012)15-3662-03

Heritrix Architecture-based Vertical Search Engine

CHEN Hao, GUAN Wei

(Guangdong Technical College of Water Resources and Electric Engineering, Guangzhou 510635, China)

Abstract: The vertical search engine as a new search engine service model, It completely solved the large amount of information has always existed in the general search engine query is not accurate, not deep enough, a series of questions. In this paper, in-depth analysis of the Her itrix architecture, Described in detail the whole process Heritrix data collected in the vertical search engine.

Key words: vertical search engine; web spiders; Heritrix; architecture

搜索引擎是指根據一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。

垂直搜索引擎是针对某一个行业的专业搜索引擎,是对搜索引擎的细化和延伸,是对网页库中某类专业信息进行的一次整合,通过定向分词字段抽取出需要的数据,经处理后再以特定的数据库格式返回给用户。

i J2vm7Gji;z0垂直搜索引擎相比通用搜索引擎最大的区别在于对网页信息的结构化信息抽取,通过将网页中的非结构化数据抽取成特定的结构化信息数据。通用搜索引擎是基于视觉的网页块分析,以网页块作为最小单位;而垂直搜索是以结构化数据作为最小单位,将这些结构化数据存储到数据库中,经深度加工即去重、分类、分词、索引等一系列处理后,再以检索的形式满足用户的需求。中国经济网经济博客*cvwjq8zT)X

垂直搜索引擎的应用领域广泛,比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索等等,几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。……

登录APP查看全文