Spark环境下网络数据安全监测技术
2021-11-07林丽星
安阳师范学院学报 2021年5期
关键词:环境
林丽星
(闽西职业技术学院 信息与制造学院,福建 龙岩 364021)
0 引言
Spark集群环境使用内部分布数据集,不仅具备常规的数据交互查询功能,还对工作环境负载产生一定程度的优化作用,因此Spark集群在众多数据采集监测领域得到广泛应用。随着计算机网络技术日益优化,网络安全形势日益严峻,黑客企图通过入侵等方式获得私密的网络数据信息[1]。因此,Spark环境下网络数据安全监测问题亟待解决和优化。Spark集群继承了 Hadoop中Mapreduce的全部优越性能,适用于数据挖掘算法的运行。为此在Spark环境下布置了并行式的K-mean聚类模型以挖掘当前数据是否存在危险因素,进而监测网络数据的安全性能。
1 基于K-mean聚类算法的Spark环境网络数据安全监测技术
1.1 Spark环境下网络数据采集
Spark环境下网络数据采集的结构布局如图1所示,主要包括Spark集群、无线网络、Spark服务集群、数据采集单元等关键部分。其中,Spark集群由多个从节点、一个主节点构成,均通过交换机与数据采集单元进行指令传达与信息交互[2];数据采集单元包括数个数据流量采集节点,采集后的数据传输到Spark服务集群进行安全处理与存储,以网络为介质传输到用户端以供数据分析使用。
Spark大数据集群环境下数据采集由采集单元部署的大量节点完成,是网络数据安全监测的基础,数据流采集完毕将会进行安全存储以供安全监测环节使用。Spark环境下采集的数据流包括结构化数据与非结构化数据两种,采集节点需要零散布局在复杂的网络之中,通过并行化节点管理策略将分散的数据采集节点集中起来统一管理,以优化网络数据采集效果与效率。……
登录APP查看全文
