孙荣明

摘要：在大数据时代，数据集或数据处理能力是市场与企业对人才的一大关键要求。在高校大数据专业教学中，数据的安全与运算能力开始备受重视。而大数据教学系统的有序运转经常受各种因素影响，尤其是硬件故障与不足等。但是，Hadoop框架核心技术具有其自身的独特优势，即可靠性、拓展性、容错性、有效性都非常高，主要是通过大型的分布式集群，建立并布置数据储存与分析系统，这是最佳的数据解决方案，能够实现高效管理。本文主要对Hadoop框架核心技术在高校大数据教学系统中的应用进行了深入探究。

关键词：Hadoop框架核心技术；高校；大数据教学系统；应用

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）25-0129-02

1 大数据Hadoop两大核心技术

Hadoop框架核心技术实际上主要包括HDFS与Map Reduce。其中，HDFS是数据存储文件系统，是大数据的重要基础。而Map Reduce直接为大数据提供了一定的数据调度与管理算法。HDFS属于Hadoop的文件格式系统。在单机版的系统内，数据主要在物理硬盘上进行储存，而文件系统将硬盘划分为多个存储盘，即呈现为C盘和D盘等等。但是，在Hadoop系统中，数据的存储位置在集群不同的物理主机上，所呈现的是网络路径形式。用户只需要网络路径，便能够进行数据储存，而HDFS则需要格式化数据物理硬盘，并将数据分配到物理主机上加以储存、管理即可。Map Reduce属于Hadoop系统数据调度、传输、硬件资源管理算法，其主要利用分离治理的理念，将大型任务划分成小任务，再把小任务分配到集群结点上，在结点完成任务，汇总整理中间结果，以完成最终结果。……