任风贤

（运城职业技术大学 山西 运城 044000）

1 引言

近年来，信息化技术取得了快速发展。智慧图书馆能够合理运用信息化技术打通各自动化系统的信息壁垒，建立图书馆信息中心。并且根据图书馆业务目标，使用数据挖掘算法和工具对海量图书馆行为数据展开分析挖掘。由于我国已经正式迈入了大数据时代，近几年很多高校都陆续提出了智慧图书馆的项目建设，但是高校智慧图书馆仍然处于初级阶段。因此，想要进一步促进智慧图书馆的建立，应该清晰了解相关技术，合理构建基于大数据的智慧图书馆平台。

2 大数据平台架构的相关技术

2.1 Hadoop生态圈介绍

Hadoop前身是Apache的Nutch，具有数据收集和数据存储功能。在当前阶段Hadoop已经成了一个较为规范庞大的体系。体系里面包含了HDFS、MapReduce、Yarn、Hive、Zookeeper等，能够为系统提供分布式的数据存储、并行计算、集群管理以及数据传输等功能，其中较为核心的内容是HDFS、MapReduce、Yarn三者。

HDFS使用了主从架构，一个HDFS集群通常是由多个DataNode与单个NameNode组合而成。其中NameNode在这个过程中是作为管理文件系统命名空间的主服务器，并且可以调节客户端运行过程中访问的文件。而DataNode则是进行管理对接节点存储，一般情况下会在一个服务器当中部署一个DataNode。将一整个文件划分成多个数据模块，将这些数据模块分别存储在不同的DataNode当中。NameNode则是被用来操作文件系统的命名空间，例如在运行过程中打开、关闭或者重命名文件。在这个过程中，呈现出数据块与DataNode之间的映射关系。……