钱维扬，王俊义，仇洪冰

（1.桂林电子科技大学 信息与通信学院，广西 桂林 541004；2.桂林电子科技大学 认知无线电与信息处理教育部重点实验室，广西 桂林 541004）

基于Hadoop的数据挖掘技术在测光红移上的研究*

钱维扬1，王俊义2，仇洪冰2

（1.桂林电子科技大学 信息与通信学院，广西 桂林 541004；2.桂林电子科技大学 认知无线电与信息处理教育部重点实验室，广西 桂林 541004）

天文数据量以指数量级快速增长,使得天文数据挖掘面临前所未有的挑战。分布式集群技术和云计算平台的飞速发展,为海量数据处理和分析提供了新的研究思路和方法。其中基于内存计算的Hadoop分布式集群技术更是异军突起,并在迭代式机器学习和交互式数据挖掘应用等方面表现出明显的优势。基于最新释放的斯隆数字巡天测光数据集研究基于Hadoop平台的数据挖掘技术在海量天文巡天数据上的适用性和应用问题,为海量天文数据挖掘提供了新的手段和方法。

数据挖掘；机器学习；Hadoop平台；MLPQNA算法；测光红移

0　引言

近年来，正在进行和已经完成的巡天项目(例如：SDSS巡天[1]、VLT/VIRMOS巡天[2]、VST巡天[3]等)为研究宇宙的起源与演化提供了大量丰富的数据资源。海量数据将带来许多实质性的挑战，例如怎样记录、加工原始数据；怎样通过现代计算机硬件和网络系统存储、合并、获取数据；怎样快速有效地探索及分析数据并将这些数据可视化。运用数据挖掘技术从海量数据中发现稀有的天体或现象，或者根据数据来区分不同类型的天体，这对天文学发展是至关重要的。……