况昊

摘要：搜索引擎（Search Engine）是一个对互联网上的信息资源进行搜集整理的应用软件系统。它主要包括信息搜集、索引建立和信息检索三个部分。搜索引擎有很多类型，常见的有FTP搜索引擎和WEB搜索引擎。一般WEB搜索引擎较少处理FTP服务器上的数据。就信息规模而言，FTP服务器的信息量比WEB服务器小很多。因此FTP搜索引擎硬件投入和维护的费用也远远低于大型通用搜索引擎。针对在FTP服务器的搜索速度和效率问题，对现有FTP搜索引擎技术进行了分析和研究，重点详细介绍了爬虫模块和索引模块的设计与实现。

关键词：FTP；搜索引擎；网络爬虫；索引

中图分类号：TB 文献标识码：A doi：10.19311/j.cnki.1672-3198.2016.06.087

0引言

随着网络的发展，尤其是互联网的全球普及，使互联网上的信息急剧增长，很多个人和企业用户都建立对外开放的FTP服务器，提供了大量的信息供网民下载。如何从这信息的海洋中找到符合用户要求的有用信息，成为一个迫切需要解决的问题。对互联网上各个FTP站点上的资源进行整合汇总，以便快速、准确的了解到各个站点所提供的信息，显得十分必要。在各个FTP站点上的信息源有种类繁多，比如文本、图像、视频和声频文件等等。本设计针对FTP站点提供的信息资源进行爬取和分类，为后期建立索引的方便，对每个站点建立了一个经过初步处理的原始数据文件。

本系统主要是完成了对FTP站点信息的提取和分类，依据用户提供的站点列表、站点扫描范围以及扫描端口号进行扫描。……