基于Ambari快速部署Hadoop大数据集群环境研究
2021-05-20胡必波刘晓娟广州工商学院
胡必波 彭 梅 刘晓娟广州工商学院
0 引言
大数据实验环境的搭建涉及Linux系统、虚拟机软件、JDK、Hadoop、Spark、HBase、Hive等多种开源软件的安装,安装过程涉及大量配置,不易快速集成和维护,给Hadoop平台的实践课程教学带来了很大的挑战。广州工商学院虽然引入了青软QST大数据“云桌面”解决方案,学生在本地终端通过校园网连接到QST大数据服务器,中央服务器为其分配一个虚拟机,学生在虚拟机上完成各种实验操作。但这种方案受限于校园局域网络,而且机房统一上机的时间相对有限,不能很好地满足教师和学生课后学习实践大数据时的需求,仍然需要构建单机实验环境进行线下辅助教学。本文通过实践探索,利用Ambari快速部署Hadoop集群环境,简化了集群供应,只需要一台物理计算机就可以开展集群部署、监控和管理等实验,既方便教学,又贴近实际生产应用环境。
1 VMware与Ambari
虚拟化技术是指通过虚拟化软件VMM在一台计算机上模拟出一个或多个虚拟化环境。虚拟化常见的类型有:系统虚拟化、服务器虚拟化、桌面虚拟化、存储虚拟化、网络虚拟化以及应用虚拟化等,其中,系统虚拟化是指使用VMware Workstation等虚拟化软件在物理计算机上虚拟出一个逻辑操作系统(虚拟机)来安装和使用另一个操作系统及其应用程序,互不影响使用。
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的安装、部署、配置和管理,支持包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop等大多数Hadoop组件。Ambari从集群节点和服务收集大量信息,并将其表现为容易使用的、集中化的接口,如Ambari Web、Restful API等;……
