赵冰漫

摘 要 随着计算机系统性能的提高和网络技术的不断进步，如何在互联网这个庞大的信息资源中提供高效的搜索服务，帮助用户在海量的数据中快速找到需要的信息是搜索引擎亟待解决的问题。通常用户只关心返回的排在前面的结果，然而当前搜索引擎返回的查询结果与用户需求的相关性并不高。于是搜索引擎的相关性设计--按照与用户查询的相关程度对搜索引擎的索引文档进行排序，成为当前研究的重点。

关键词 搜索引擎 相关性 用户查询 索引

中图分类号：TP391 文献标识码：A

0引言

本文对搜索引擎的相关性进行了深入的研究，主要工作归纳为以下几点：

（1）文本搜索引擎的相关性排序模型，采用向量空间模型。

（2）文本搜索引擎数据源采用网络爬虫实现。

（3）文本搜索引擎数据分类采用朴素贝叶斯算法。

1相关性分析与实现

TF-IDF：是一种常用的检索系统的加权技术。

基本思想：是每个字词的重要性随着它在文件中出现的次数成正比，与在其他文件中出现的次数成反比。

TF：Term Frequency：关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有N个该关键词，则： TF=为该关键词在这篇文章中的词频。

IDF：Inverse Document Frequency ：逆向文本频率，是用于衡量关键词权重的指数，由：IDF=log（）计算而得。

D：表示文章总数，DW：表示关键词出现过的文章数。

2基于向量空间的余弦算法

算法步骤：预处理→文本特征项选择→加权→生成向量空间模型后计算余弦。

（1）预处理。预处理主要是进行中文分词和去停用词。……