陈 琳

（福建省信息职业技术学院，福建 福州 350003）

将搜索引擎中的基本技术应用于高职教学探讨

陈 琳

（福建省信息职业技术学院，福建 福州 350003）

本文探讨了搜索引擎的基本技术，以及将搜索引擎的基本技术融入高职教学中的合理性、有效性和可行性。探讨如何将搜索引擎的基本技术融入《数据结构》课程教学中。

搜索引擎；高职教学；数据结构

1 搜索引擎的基本技术

搜索引擎为互联网上数以亿计的网页建立索引，包含不胜枚举迥然不同的词汇。每天要完成成千上万个查询。处理查询必须快，达到每秒能处理成百上千个查询。索引系统必须能够有效、快速地处理亿万个的数据。而且用户希望得到高精度的搜索结果，并且这些结果最好能出现在前面的几十个。

搜索引擎的基本技术有：

1.1 抓取网页技术

抓取网页是由几个分布式爬虫完成的。一个URL服务器负责向爬虫提供URL列表。抓来的网页交给存储服务器。再由存储服务器压缩网页并把它们存到知识库中。

设定最大的线程的数目，每个线程对应一个爬虫。所有爬虫同时在网上进行搜索，根据数据库中已有的网页信息，寻找需要更新的网页或新鲜有用的网页。执行的重点是找DNS。每个爬虫有它自己的DNS缓存，不必每个网页都查DNS。每一百个连接都有几种不同的状态：查DNS，连接主机，发送请求，接收回答。它用异步IO处理事件，若干请求队列从一个网站到另一个网站不停的抓取网页。

1.2 分词技术

分词技术分为英文分词技术和中文分词技术。……