APP下载

基于SES通用爬行器的设计与实现

2011-06-08文必龙

哈尔滨商业大学学报(自然科学版) 2011年4期
关键词:搜索引擎内容用户

文必龙,叶 静

(东北石油大学计算机与信息技术学院,黑龙江 大庆 163318)

信息社会的快速发展使得信息的容量达到了空前的高度.在大部分行业中,企业内容每年增加一倍以上.重要而敏感的内容遍及各处,它们存在于企业的数据库中,电子邮件的附件中,专用内容管理服务器中、分布式文件系统或私人工作区中,以及内部网和面向公众的网站中.用户需要有效的企业搜索,将分布各处的信息转化为运营优势,企业搜索引擎[1]成为研究热点.企业搜索引擎与因特网搜索引擎比较具有其特殊的特性[2]:企业搜索引擎需要面向企业网,对企业内部的信息资源进行搜索;因特网搜索引擎的搜索对象是网页和多媒体文件,而企业搜索引擎可以对企业数据库进行搜索;因特网搜索的内容和展现的信息都是完全开放,不存在安全性问题,但企业的数据涉及企业的核心利益,要求具有很高的保密性;因特网搜索和展现的内容都是网页和文件的原始形态,但企业数据库中的数据有的是以编码形式保存,需要进行专门的语义处理和代码转换,变成用户能读懂的文字、图形和报表等方式.

数据采集[3]是搜索引擎工作的第一步,只有相关的信息被爬行器抓取到才能进行下一步的数据分析工作.由于企业搜索引擎素要处理的信息[4]包括了大量的异构数据库和异构文档,需要对不同类型的信息书写不同的处理函数以提取文本.本文根据……

登录APP查看全文

猜你喜欢

搜索引擎内容用户
内容回顾温故知新
关注用户
主要内容
关注用户
关注用户
网络搜索引擎亟待规范
如何获取一亿海外用户
广告主与搜索引擎的双向博弈分析
搜索,也要“深搜熟滤”