刘 伟

南京铁道职业技术学院，江苏南京 210015

搜索引擎中网络爬虫的设计与实现

刘 伟

南京铁道职业技术学院，江苏南京 210015

随着信息时代的来临，互联网逐渐渗透到我们生活中的每个角落，其中搜索引擎的应用，更是为我们的生活和学习带来了很大的便利。研究搜索引擎中网络爬虫的设计与实现，对于优化搜索引擎性能，提升搜索引擎效率有着重要的意义。本文主要分析了基于主题搜索引擎中网络爬虫的设计与实现，并提出了相应的方法和手段。

主题搜索引擎；网络爬虫；设计；实现

搜索引擎的使用，使人们能够更加方便快捷地从网络上获取想要的信息。随着互联网和计算机技术的不断发展，传统的通用搜索引擎已经很难满足人们的信息检索要求，而主题搜索引擎的产生为信息检索服务水平的提高带来了福音。而作为搜索引擎的基础部分，网络爬虫对于信息检索服务的实现起着举足轻重的作用。因而只有根据搜索引擎的发展和创新不断优化网络爬虫的设计，才能提高网络爬虫的性能以及主题搜索引擎的应能。

1 主题搜索引擎和网络爬虫

将互联网中大量的进行信息选取、整理存储并建立索引，再提供友好接口，使用户在这些信息中及时、准确、快速获取需求的信息的查询系统就是搜索引擎。

主题搜索引擎，是以构建某一专题领域或者某一学科领域的因特网信息资源库为目的，在互联网上智能的搜集符合设定专题要求或者符合该学科需要的信息和资源。……