基于Spark内存算法的图书馆大数据文献服务方案研究
2021-03-31王海萍
微型电脑应用 2021年3期
王海萍
(西安理工大学 图书馆, 陕西 西安 710054)
0 引言
随着大数据时代背景下,图书馆馆藏所占用的信息量暴涨,其具有总量大、种类多和高价值的特点[1-2]。在海量的数据文献与有限的计算机处理能力中如何找到平衡,研究设计出可行的文献检索服务方案,具有十分重要的意义。目前,国内外关于图书馆文献检索信息化的实践研究主要体现在3个方面:首先,对于多种文献来源的收集和分类检索,大数据时代下文献资源较传统的图书资源信息量更为复杂,如何挖掘并进行有效聚合是研究热点,例如部分学者以深度聚合可视化模型为出发点,建立了基于数据资源收集、信息处理、资源整合和可视化的图书馆馆藏数据系统[3-4];其次,文献大数据的分析方法研究,支持向量机方法、多维检索排序方法和文献活跃度方法等均是在这一背景下所提出的数据分析法[5-8];最后,图书馆文献管理系统的性能和用户友好程度,这一领域的研究成果较多,结合最新的操作系统界面以及云存储等方法,Hadoop云平台、Worldcat数据库和虚拟现实技术等均有所应用[9-11]。以上3种研究方向均在图书馆文献检索方面做出了巨大贡献,但是随着大数据和5G时代的到来更加海量的文献数据对于现有的检索服务方案提出了新的挑战。
目前较为主流的大数据分析技术以内存计算为主,其中Spark平台作为内存计算的主要框架,在互联网娱乐、游戏和网络电商平台获得了十分成功的应用[12]。……
登录APP查看全文
