面向教育视频资源的垂直搜索引擎设计与实现
2014-04-03魏刃佳吴振强
魏刃佳,吴振强
WEI Renjia, WU Zhenqiang
陕西师范大学 计算机科学学院,陕西 西安 710062
School of Computer Science, Shaanxi Normal University, Shanxi Xi’an 710062, China
1 引言
自 1990年蒙特利尔大学学生 Alan Emtage发明的 Archie,到如今 Google、百度等通用搜索引擎的广泛使用,搜索引擎的价值已越来越高。据艾瑞资讯统计,2012年第一季度中国搜索引擎市场规模已达到54.9亿元,同比上升68.2%[1]。但随着互联网上网页数量的倍增,通用搜索引擎已不能满足用户个性化、专业化的搜索需求,针对其检索结果信息量大、搜索范围过于宽泛、主题相关度低、检索深度不够、信息时效性差等问题,垂直搜索引擎应运而生。
自2000年,国外就开始研究垂直搜索引擎,国内对垂直搜索引擎的研究虽起步较晚,但发展迅速,现有的垂直搜索引擎已涉及图书搜索、职位搜索等方面,但针对网络中海量的教育资源,学习者仍需花费大量的时间在多个网站中搜索所需信息,搜索效率较低。为此,本文顺应教育信息化发展的要求[2],结合我国教育资源利用率低的问题,将垂直搜索引擎与教育资源相结合,以教育视频资源为例,通过对开源软件Heritrix和Lucene进行扩展以及对精品课程资源网的分析[3],提取视频资源名、资源描述以及资源链接,实现了教育视频资源的整合及搜索,使得学习者可以通过视频资源搜索引擎更快地获取所需信息,并将其运用在移动校园系统中,提高教育视频资源利用率。而且,针对Heritrix与Lucene串行组合方案难以实现信息抓取、分析过程与索引过程同时进行的问题,对实现流程进行优化,使网页抓取、网页内容分析筛选和建立索引三个过程同时进行,降低系统IO开销和磁盘空间占用率。……
