司福明，卜天然（安徽机电职业技术学院信息工程系，安徽 芜湖 241000）

一种基于Hadoop云计算平台大数据聚类算法设计*1

司福明，卜天然
（安徽机电职业技术学院信息工程系，安徽 芜湖 241000）

传统的数据挖掘技术由于受到编程模型等的约束，产生了不同瓶颈，聚类算法的研究面临着海量的大数据处理与分析的挑战，新兴计算模型Hadoop作为一种可并行处理的云计算平台得到了广泛应用。文章对传统聚类挖掘算法进行改进和优化，在Hadoop云计算平台上进行K-means算法的并行化实现，降低算法的时间复杂度，提高了计算效率。实践证明，改进的K-means算法适合大规模数据集的聚类挖掘，具有高效、准确、稳定、安全等特性，适合于海量数据的分析和处理。

Hadoop；云计算平台；大数据；聚类挖掘算法；并行化

1　引言

大数据技术、物联网、云计算是当今IT产业具有颠覆性的技术革命。大数据时代的到来对人们的生活方式、商业模式都发生着重要影响。随着大数据的提出，给信息技术产业带来了新的发展机遇，尤其对数据挖掘技术影响更为明显。数据挖掘技术进入一个新的发展阶段，要提高大数据的准确性，大数据的挖掘算法对大数据处理结果的误差率必须在可接受的范围内，这就需要对传统数据挖掘算法进行改进。文章以提高大数据挖掘效率和准确度为目标，将面向大数据的聚类挖掘算法准确度和效率作为研究重点，对传统的聚类算法进行了必要的改进并利用云计算平台将改进后的聚类挖掘算法进行并行化实验。……