韦尧，陈子阳，程静文，高聪硕，张正艳，吕震宇

(华北理工大学 管理学院，河北 唐山 063000)



基于CubieBoard的大数据实验平台设计

韦尧，陈子阳，程静文，高聪硕，张正艳，吕震宇

(华北理工大学 管理学院，河北 唐山 063000)

实验平台；大数据；Hadoop

针对传统大数据实验平台部署成本高、网络环境配置复杂等问题，将CubieBoard引入大数据实验平台架构，搭建了五节点的大数据实验环境，完成了Hadoop集群部署、MapReduce应用开发部署和Mahout大数据分析挖掘实验。该平台搭建成本低，部署容易，非常适合高校本科生和研究生作为大数据学习的入门实验平台。

“大数据”是近些年来国内外关注的热点，目前在众多大型企业中广泛应用。然而大数据教育，特别是本科生大数据教育却明显落后于企业发展，使得目前技术市场上掌握大数据技术的人才严重短缺。早在2012年，美国国家教育部就已经颁布了《通过教育数据挖掘和学习分析促进教与学》报告，已经将大数据融入学习变革当中[1]；我国CCF大数据专家委员会在《2015年大数据发展趋势预测》中发布了2015年大数据十大发展趋势，其中一项就是“大数据技术课程体系建设和人才培养是需要高度关注的问题”[2]。然而大数据人才培养一方面需要加快将业界应用技术向高校转移，但另外一方面却受制于大数据高昂的硬件建设成本。一套大数据平台硬件设备动辄需要数十万元到上百万，大多被用于科研[3-5]，很难大规模用于本科生教学工作。因此，目前很多大数据实验转而寻求在虚拟机上完成，但受到计算机硬件能力限制，目前基于虚拟机的大数据实验多以单机实验为主，很难完成多机集群部署。……