柏雪（桂林理工大学图书馆，广西桂林541004）



基于Hadoop的分布式搜索引擎设计与实现*

柏雪
（桂林理工大学图书馆，广西桂林541004）

[摘要]针对分布式搜索引擎的研究现状和技术背景进行分析，提出基于Hadoop的分布式Lucene搜索引擎的功能模型与系统构架。从系统实现的分布式索引、分布式检索和第三方分词器3个方面的关键技术进行详细叙述，搭建具体实验实施的软件、硬件环境，并运用对比的方法，进行分布式搜索引擎的性能测试分析。实验结果表明：基于Ha⁃doop的分布式Lucene搜索引擎，在信息搜索的效率、可靠性、稳定性和可扩展性等方面，具有很强的优势。

[关键词]分布式Hadoop Lucene搜索引擎

[分类号]TP393

*本文系2015年度广西教育厅项目“随书光盘资源云服务平台开发应用研究”（项目编号：KY2015YB138）；2013年度广西哲学社会科学规划研究课题基金项目“基于HADOOP大数据技术分布式信息检索系统的研究与实现”（项目编号：13FTQ003）阶段性成果。

1　引言

中国互联网络信息中心（CNNIC）的中国网民搜索行为研究报告指出，现今我国的搜索引擎用户规模达4.9亿。搜索引擎作为互联网的基础应用，已成为广大用户获取信息的重要工具。搜索引擎是指为用户提供检索服务，并将与检索信息相关的结果显示给用户的系统，即用户按照一定的策略使用网页抓取程序从互联网中采集信息，然后其进行分类组织和处理，用户仅需提交检索关键词等信息即可进行检索。搜索引擎能很好地解决用户对需要的数据资源进行快速且准确的检索，减小开发成本，提升信息服务的效益，提高信息资源的利用效率[1]。……