卜天然

(安徽商贸职业技术学院，安徽 芜湖 241002)



基于Nutch技术的垂直搜索引擎设计与实现*1

卜天然

(安徽商贸职业技术学院，安徽 芜湖 241002)

摘要:在研究垂直搜索引擎的设计思想、相关技术的基础上，利用Nutch开源框架设计实现了农业环境信息的垂直搜索引擎，支持了对特定信息的检索服务.系统采用了网页模板技术对网页信息进行提取，采用改进的TF-IDF算法提取特征词，利用基于特征词的向量空间模型进行主题相关性判定，利用朴素贝叶斯算法对网页信息进行分类.测试结果表明，改进后的Nutch具有更高的查询准确率.

关键词:Nutch；垂直搜索；信息提取

第37次《中国互联网络发展状况统计报告》中明确指出，截至2015年12月，中国网民规模达6.88亿，互联网普及率达到50.3%[1]，网络已渗入到人们工作、生活的方方面面.随着Web2.0技术的高速发展，网络资源呈几何式增长.如何在海量的互联网信息中快速、准确地搜索到有用的信息，成为搜索引擎所要应对的一大挑战.在实际使用中，通用搜索引擎由于要面对互联网上所有的信息资源，使得返回给用户的信息结果并不能达到预期的效果.所以，出现了只针对某一个主题下信息检索的搜索引擎——垂直搜索引擎，垂直搜索引擎解决了通用搜索引擎对于互联网信息利用率低，而对于某一领域信息覆盖率又不高的问题.

1基于Nutch的搜索引擎设计思路

Nutch作为一个开源网络爬虫，其主要工作就是按照制定的规则从互联网上爬取网页并……