APP下载

大数据环境中多维数据去重的聚类算法研究

2021-03-07

网络安全技术与应用 2021年4期
关键词:检测

(厦门市美亚柏科信息股份有限公司 福建 361008)

1 引言

社交网络、物联网等的出现带领人们进入到全新的世界,同时也给人们的生活注入了新鲜的血液,满足了人们对高品质生活的追求,让人们的生活上升到了新的高度。但大量信息出现的同时也让数据不断地增加,如何有效地得到更加精确的数据呢?这是一个值得我们去认真思考的问题。

2 分析大数据的聚类划分与多维聚类算法的应用

2.1 大数据的聚类划分与多维聚类的目的

大数据中所具有的数据是复杂多变的,面对这种情况就需要采用合理的方式将数据进行有效区分,让收集到的数据能够快速地被辨别。在实践证明下发现传统的方式不能够将数据进行有效区分,还会让所收集到的数据出现不完整的情况,这是由于传统方式主要以数据采样为切入口,从而以缩小数据范围的形式对数据库进行高效地管理,虽然这种方式在一定程度上减少了对数据进行分析的时间,但会导致所掌握的数据有误差并出现无用的数据,不能够让数据发挥最大的价值,还会让数据在被收集后不能够进行二次使用。传统方式还会将数据进行强制性的聚类,但这种方式会对数据的多维结构造成影响,让数据的多维结构出现不完整的情况,使得计算的结果出现误差。

而数据聚类分析在对数据进行处理的过程中将数据原有的特征与数据具有的多维关系进行保留,根据不同数据所具有的不同特征采取相应的方式对数据进行分析,能够让同类数据与异类数据被有效地分析。……

登录APP查看全文

猜你喜欢

检测
QC 检测
小波变换在PCB缺陷检测中的应用