APP下载

基于改进划分聚类方法的大数据处理算法

2018-10-12沈阳职业技术学院

电子世界 2018年18期
关键词:分类实验方法

沈阳职业技术学院 曹 硕

1 引言

目前,随着物联网技术的发展,对大数据进行高效的数据挖掘有着重要的意义,其中聚类是一个数据分析的常用方法,能够在缺少先验信息的情况下分析数据的分类[1]。常用的聚类方法分为层次聚类和划分聚类,本文采用的是后者。划分聚类首先要确定自然簇的质心位置,再根据质心进行数据的分类划分。本文在划分聚类的基础上进行了改进,主要分为4个步骤:抽样、确定自然簇质心的初始位置、初始位置更新和数据分类划分。以下进行详细说明。

2 改进划分聚类方法

2.1 抽样

现抽取出一个总数为k的小数据集,同时要保证抽样结果包含了所有自然簇[2],并与原始数据集具有相同的函数分布。

2.2 确定自然簇质心的初始位置

假设各抽样面积不相交且并集覆盖所有类别的自然簇,抽样自然簇与原始数据集质心位置相似。对抽样数据进行聚类,可得簇质心的初始位置,该位置通常与原始数据集的簇质心有一定差距,后期可通过均值更新对该位置进行校正[3]。确定自然簇质心的初始位置分为两个步骤,首先将各抽样数据进行聚类,然后整理聚类结果[4]。

2.3 初始位置更新

由于簇质心的初始位置与真实位置存在一定的差距,通过利用抽样后的剩余数据更新该位置以实现校正。采用了最小距离的分类原理,将剩余数据样本根据与各质心的远近程度来分配给各个簇。

2.4 数据的分类划分

数据的分类划分要由上一节更新得到的自然簇质心位置决定,同时根据上文提到的最小距离法进行数据划分,通过计算数据和簇质心的最小距离来确定数据类别的最终分配。……

登录APP查看全文

猜你喜欢

分类实验方法
记一次有趣的实验
分类算一算
做个怪怪长实验
教你一招:数的分类
NO与NO2相互转化实验的改进
实践十号上的19项实验
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼