李炳练

摘要：基于Lucene的全文检索开源项目基础上，采用PaodingAnalyzer中文分词器，设计了一个基于中文环境的高效分词与全文搜索引擎系统，实现多种类型文件内容的文本全文检索功能。

关键词： 全文搜索；中文分词；搜索引擎；Lucene

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）13-0236-02

Abstract： This paper design and implement an efficient Chinese segmentation search engine based on Lucene and PaodingAnalyzer， which mainly for dealing with Chinese words to improve the ability of full text search system.

Key words： full text search； chinese segmentation； search engine； lucene

基于关键字的文本搜索是信息系统最重要最常用的功能之一，而开放源代码的Lucene全文检索技术是信息检索领域广泛使用的基本技术，被大量的集成到各种系统软件以及构建Web应用系统中去，作为软件的全文检索子系统的核心。基于关键字的文本搜索首先要解决分词问题，虽然Lucene内置了分词器功能，但无法支持复杂的中文分词。因此，本文在比较各类中文分词器的基础上，采用PaodingAnalyzer分词器代替Lucene内置分词器，与Lucene共同构建起一个中文环境下高效、准确的全文搜索引擎系统。

1 关键技术

1.1 Lucene

Lucene是apache软件基金会jakarta项目组下的一个子项目，是一个开放源代码的全文检索引擎工具包[1]。作为一个开放源代码项目，Lucene发布后，引发了开放源代码社区的热烈反应，开发者不仅使用它构建具体的全文检索应用，而且将Lucene整合到各种系统软件以及各种Web应用中，甚至也有商业软件也采用Lucene作为其全文检索子系统的核心。

采用Lucene构建全文搜索引擎不仅在于其开源、免费，而且在于高性能、纯JAVA跨平台应用，方便移植可重用；Lucene作为一个全文检索引擎，其突出的技术应用优势是不仅在传统全文检索引擎的倒排索引的基础上，实现了分块索引，而且设计了独立于语言和文件格式的文本分析接口；……