黄少聪

（福建工业学校 信息教学部，福建 福州 350001）

当前，随着校园信息化的建设的快速发展，传统的管理方法逐渐不能满足日益增长的数据积累和管理需求。各个时期不同的信息系统形成的“数据孤岛”，数据资源无法共享；高校每年成千上万名新生入学，积累了大量的数据，这些数据不仅数量级大，数据结构也多样。各类校园数据规模日益庞大，数据利用不充分，缺少稳定高效的大数据环境，这些都对高校校园数据的研究提出了挑战。针对以上问题，基于大数据核心技术Hadoop构建校园大数据平台，对海量校园数据进行采集、存储，分析和应用，实现大数据汇聚整合，可以实现校园中信息的互联互通，体现了校园数据的实时性和价值性，能够对师生进行个性化服务，提高工作效率，为高校建设以及科学管理提供重要的依据。

一、Hadoop大数据处理的意义

随着互联网技术的快速发展，随之迎来大数据时代的来临，需要对日益增长的数据资源进行存储、处理与分析，并从中发现有价值的信息，需要先进的分析技术作支撑。Hadoop是Apache的一个用Java语言实现的开源软件框架，能够实现在集群中对海量数据的分布式处理和分析。Hadoop具有高可靠性、高扩展性、高效性和低成本的优点，用户可以轻松架构和开发分布式程序，应用研究主要涉及大数据存储、日志处理、ETL、机器学习、搜索引擎、数据分析与挖掘等领域[1]。

经过多年的发展，Hadoop核心功能在不断完善的同时，也衍生出多个功能组件，共同构成了Hadoop生态系统，成为大数据处理的业内事实标准。……