APP下载

基于Lucene的倒排索引性能的研究

2014-08-30朱鹏

无线互联科技 2014年8期
关键词:搜索引擎

朱鹏

摘 要:倒排索引技术是现代搜索引擎的核心技术之一,索引技术的好坏直接影响搜索引擎的性能。Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构,可以方便的嵌入到各种应用程序中。在深入分析和研究Lucene索引机制的基础上,通过实验发现,与传统的字符串匹配查找的性能相比,使用倒排索引的Lucene更快捷、更准确的实现全文检索。

关键词:倒排索引;搜索引擎;Lucene;性能

Abstract:Inverted index technology is one of core technologies of search engine,the quality of index technology has a direct influence to the performance of search engine.Lucene, with highly optimized inverted index structure,is an excellent full-text search engine framework, can be easily embedded in various applications.Based on deeply analysis and research of the index mechanism of Lucene, the experiment discovers, compared with the performance of the traditional string matching search, Lucene with inverted index can implement full-text retrieval more quickly and more accurately.

Key words:Inverted Index;Search Engine;Lucene;Performance

随着互联网的普及以及数字信息的爆炸式增长,网络信息资源数量以几何级数倍增,面对日益产生的海量数据,其异构性、分布性和动态性,对信息检索的研究不断提出新的挑战。为了在海量的数据中迅速而全面地找到所需要的信息,搜索引擎由此产生了。

1 Lucene及相关分析

1.1 Lucene概述

Lucene是Apache软件基金会jakarta项目组的一个子项目,是一个优秀的开源全文搜索引擎工具包。它提供了丰富的API函数,可以方便地创建索引,嵌入到各种应用中实现全文检索。

1.2 建立索引的过程

基于Lucene的索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式,使得兼容系统或者不同平台的应用能够共享建立的索引文件。建立索引有三个步骤:

⑴提取文本。为了使用Lucene对文档数据建立索引,首先要将该文档转换为Lucene可以处理的类型。

⑵构建Document。Document类是用来描述文档的。

⑶分析。在文档被索引之前,首先要对文档内容进行分词处理,由Analyzer类处理。

在完成上述步骤后,就可以对索引文件进行全文检索了。……

登录APP查看全文

猜你喜欢

搜索引擎
Chrome 99 Canary恢复可移除预置搜索引擎选项
网络搜索引擎亟待规范
Nutch搜索引擎在网络舆情管控中的应用
广告主与搜索引擎的双向博弈分析
基于Lucene搜索引擎的研究
知识漫画
一种自反馈式元搜索系统的设计
搜索引擎,不止有百度与谷歌
搜索,也要“深搜熟滤”
浅析搜索引擎的原理及发展前景