许瑞

摘 要：作为大众连接互联网的主要入口，搜索引擎根据搜索引擎使用者提交的请求有针对性地为其提供准确、高效以及可靠的检索结果。然而由于互联网资源的巨大性以及搜索引擎技术的复杂性，目前搜索引擎的检索结果面临准确性、可靠性和时效性等挑战。本文将对当前的搜索引擎以及搜索引擎技术进行讨论，并对他们的发展趋势进行分析，同时对搜索引擎所面临的问题进行剖析并给出相应的解决方法。

关键词：搜索引擎；网络爬虫；检索

中图分类号：TP311.52 文献标识码：A

1.搜索引擎介绍

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于互联网上的一门检索技术，它旨在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。

全文搜索引擎是当前应用最为普遍的主流搜索引擎，国内外知名的有baidu，Google，Bing等。全文搜索引擎的工作原理是分词程序将爬虫程序从互联网上抓取的文章中的内容预处理后进行分词，然后计算机索引程序扫描分好的词，对每一个词建立倒排索引，并将该词在文章中出现的位置以及次数记录在数据库中，当用户检索程序在用户提交检索请求时根据数据库中事先建立的索引进行检索，并将检索结果反馈给用户。全文搜索引擎数据库的容量极大，检索的范围很广，易用性较强，然而由于知识来源较为广泛，导致重复的内容过多且繁杂，更新不够迅速。

元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作，是对分布于网络中的多种检索工具的全局控制机制。目前国内外有诸如360综合搜索、InfoSpace等。元搜索引擎可以充分集中各搜索引擎的优势有效地扩大了搜索引擎的检索广度和提高了检索结果的准确率。元搜索引擎是基于多个搜索引擎上的二次整合，它没有数据库，因此相同的检索请求会导致重复检索。

垂直搜索引擎是针对某一个行业进行搜索的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再返回给用户。垂直搜索引擎是在特定的搜索领域来满足特定的搜索需求如火车票搜索、视频搜索等，其检索范围小而且是基于结构化数据和元数据的搜索，检索结果准确度高，检索时间短，所需耗费的成本低。

目录搜索引擎是以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。它有别于其他的各类搜索引擎。

2.搜索引擎所用主要技术

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。

网络爬虫也被称为蜘蛛或者网络机器人，它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则，以某些站点作为起始站点通过各页面上的超链接遍历整个互联网，利用URL引用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。

中文分词是中文搜索引擎中一个相当关键的技术，在创建索引之前需要将中文内容合理的进行分词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。

大数据处理技术是通过运用大数据处理计算框架，对数据进行分布式计算。由于互联网数据量相当庞大，需要利用大数据处理技术来提高数据处理的效率。在搜索引擎中，大数据处理技术主要用来执行对网页重要度进行打分等数据计算。

数据挖掘就是从海量的数据中采用自动或半自动的建模算法，寻找隐藏在数据中的信息，是从数据库中发现知识的过程。数据挖掘一般和计算机科学相关，并通过机器学习、模式识别、统计学等方法来实现知识挖掘。在搜索引擎中主要是进行文本挖掘，搜索文本信息需要理解人类的自然语言，文本挖掘指从大量文本数据中抽取隐含的、未知的、可能有用的信息。

3.搜索引擎以及搜索引擎技术发展趋势

3.1 搜索引擎的发展趋势

随着移动业务、科技的发展和人们生活方式的改变，在未来搜索引擎将会发生明显的变化。

3.1.1 知识图谱搜索

知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。当用户发起一个搜索请求后，除了显示用户搜索的结果，其他与之相关的重要信息也将以发散图表的形式呈现出来。这一功能将在满足用户信息检索的同时，可以更好的理解用户所需要的内容。

3.1.2 个性化搜索

搜索引擎技术的通用性决定了它的普适性，从而忽略了搜索用户个体之间的差异。个性化的搜索技术可以根据不同背景、不同目的和不同时期的查询请求为不同用户提供有針对性的个性化的搜索服务。个性化搜索通过采集以及分析不同的用户数据信息来学习不同用户的行为和爱好，从而实现对不同用户进行差异化信息检索的目的。

3.1.3 多媒体搜索

当前搜索引擎主要是基于文字进行搜索的，而图片、音频和视频等多媒体搜索比纯文本搜索要复杂得多，目前主流技术是通过对他们的描述文字进行解析来搜索，所以本质上来说还是基于文字的搜索，然而多媒体的描述文字经常与多媒体资料不匹配的问题导致多媒体搜索结果具有高度的不确定性，搜索结果极易受描述文字的干扰。未来的多媒体搜索技术将会通过对多媒体资料内容进行深度解析来弥补这一缺点。

3.1.4 跨语言搜索

语言已经成为限制不同语言的人们在互联网上进行文化交流和科技交流最大的障碍，因此跨语言搜索必将成为未来搜索引擎必备的一个功能。目前跨语言搜索共有机器翻译、双语词典查询和双语预料挖掘等三种方法。通过跨语言搜索能让更多的人能够共享异域文化与先进的科学技术。

3.2 搜索引擎技术的发展趋势

3.2.1 信息抓取的数量和速度

互联网是一个实时变化的拓扑信息网络，每时每刻都会有大量的网页被创建、更新。搜索引擎为了向用户展现最新的互联网信息，需要频繁的去抓取互联网上最近更新的网页内容。在搜索引擎的抓取策略中，搜索引擎会频繁的优先抓取高权重的网络站点，而对于低权重的网络站点，通常以一个相对较低的频率去抓取，这将导致不能及时的抓取低权重站点的数据信息，从而影响检索结果的准确性，搜索引擎需要兼顾低权重站点。

3.2.2 海量数据存储

互联网每天都会新产生大量的数据，如何存储从互联网上挖掘出来的海量数据将会给搜索引擎的服务端带来极大的挑战。现有的分布式存储技术在一定程度上解决了当前的数据存储问题，然而在未来数据量的增长速度将远超现在，而且未来数据的类型也将越来越多样化，如何有效的组织和存储海量的、多样化的数据将会是未来搜索引擎的一个发展热点。

3.2.3 判断用户意图及智能化发展

在搜索过程中，用户所提交的搜索关键词也许并不一定能准确表达他想要搜索的内容，搜索引擎通过利用人工智能技术合理的分析判断用户的真正意图可以实现更加专业、更加准确有效的信息检索，从而使用户使用搜索引擎更加方便，进而可以极大地提高用户的满意度。

4.搜索引擎技术当前问题及解决方法

4.1 搜索引擎技术当前面临的问题

网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。

大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存储的数据具有高共享、低冗余等特点，然而由于结构化的数据库难以并发查询所以存在查询效率受限的问题。

检索结果可靠性：目前由于数据挖掘技术以及计算机硬件的限制使得数据处理准确度未能达到理想程度，而且由于一些个人或公司利用搜索引擎现有的漏洞通过作弊手段来干扰检索结果导致检索结果的可靠性可能会有损失。

4.2 解决方法

对于网页时效性问题可以将权重高的网络站点和权重低的网络站点分开处理，对高权重和低权重的站点内容分别以合适的高频率进行抓取，并将抓取的结果置于缓存中，索引程序对缓存中的数据进行处理，这样可以使得高权重与低权重站点抓取并行处理，数据抓取与索引建立并行执行。通过优化数据的存储结构，采用数据块的模式借助于散列表连接的存储模式可在一定程度上解决大数据存储问题。通过加强反作弊技术，将先进的数据挖掘技术与神经网络加速器硬件相结合可大幅度提高检索结果的可靠性。

参考文献

[1] Mohammed A. Alam and Doug Downey. Analyzing the content emphasis of web search engines.Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval.SIGIR '14， Pages 1083-1086， 2014， ACM.

[2] Chavdar Botev， Sihem Amer-Yahia， Jayavel Shanmugasundaram. A TeXQuery-based XML full-text search engine. Proceedings of the 2004 ACM SIGMOD international conference on Management of data. SIGMOD '04， June 2004， ACM.

[3] A. Gulli， A. Signorini.Building an open source meta-search engine. Special interest tracks and posters of the 14th international conference on World Wide Web. WWW '05， May 2005， ACM.

[4]吳小兰，汪琪.元搜索引擎研究综述[J].图书情报工作，2009（9）：46-49.

[5]王文钧，李巍.垂直搜索引擎的现状与发展探究[J].情报科学，2010（3）：477-480.

[6]秦长江，侯汉清.知识图谱——信息管理与知识管理的新领域[J]. 大学图书馆学报，2009（1）：30-37+96.

[7]文振威，秦晓.个性化搜索引擎的研究与设计[J].计算机工程与设计，2009（2）：342-344+394.