胡素娟

（江西旅游商贸职业学院，江西 南昌330100）

从相关部门公布的数据来看，2020年中国互联网用户数量已达到10.8亿，庞大的互联网用户群体产生了巨大的市场潜力，以网络购物为例，2020年网络购物的交易金额达到6.66万亿人民币[1]。为更好地发挥网络产生的数据优势，有针对地实现技术创新、服务创新，需要对网络运行过程中产生的数据进行必要的发掘、归集和应用，逐步实现数据的资源化。为达到这一目标，可以尝试将云计算技术与分布式网络海量数据处理结合起来，逐步打造成熟、稳定、高效的数据处理系统，根据用户的需求，定向完成数据的处理任务。

1 分布式网络数据特性分析

分布式网络由不同终端设备互联形成，与其他网络架构相比，分布式网络可靠性较强，当网络出现故障后，故障区域的终端设备仍旧可以借助其他线路完成对外的信息交互，并且延展性较强，扩充难度较小，网络运营商根据用户分布特点、网络使用需求，灵活扩充网络的范围[2]。这种技术优势使得分布式网络逐步成熟，成为一种主流的网络构架方案，例如IEEE802.16h网络、CogNet网络作为典型的分布式网络，广泛应用于不同的领域之中。分布式网络用户数量较大，运行过程中产生了大量的数据信息，这些数据体量庞大、类型复杂、密度较高，给后续的数据挖掘、处理等工作带来了极大的不便。

为实现分布式网络数据的有效处理，部分研发团队采用分析算法与模糊聚类算法，对数据开展集中式处理，但是从实际情况来看，这种数据处理系统难以在短时间内完成数据处理任务，并且对于数据挖掘、处理的效果不佳，影响了实际的用户体验。……