雷宇

（长江职业学院数据信息学院，湖北 武汉 430074）

0 引言

在网络技术应用愈发广泛的社会背景下，相关大数据技术的研究已成为了社会中的焦点问题，如何有效处理大规模数据量已成为技术产业的研究重点。尤其在现代化社会背景下，商业技术、生产技术、经营技术不断更新，导致社会中可用的数据量显著性提升。面对海量增长的数据集合，若不及时采用有效的处理方式，不仅会使数据存储出现负荷危险，甚至会在一定程度上造成对数据使用的低效率性[1]。为此，本文引进分布式KNN分类器，使用k-近邻算法，设计一种大数据分类处理方法，确保对价值数据集合的有效聚类。

1 基于分布式KNN分类器的大数据分类处理方法

1.1 基于分布式KNN分类器聚类大数据回归任务

在设计大数据分类处理方法的过程中，引进分布式KNN分类器，对大数据回归任务进行聚类处理。在此过程中，可借鉴分类器运行中的KNN算法，将其定义为一种非参数计算方法[2]。假定参与训练的大数据样本集合表示为Ds，参与测试的大数据样本集合表示为Ts，每个样本集合中的数据量均表示为n，样本数表示为t。此时，可认为集合中的每一个数据样本均为一个多元特征的数据组[3]。表达公式如下。

公式（1）中：p表示为样本对应属性；ω表示为样本数据所属类别。假定数据样本的对应空间表示为D，则对于训练大数据样本集合Ds而言，Ds的ω属于一个已知项；Ts的ω属于一个未知项。

此时，使用KNN算法对未知项进行检索，以欧几里德距离作为度量的标准，选择K个升序样本值，对大数据样本集合进行聚类处理。……