刘敏 黄维 兰诗梅

摘  要： 传统的高速连续数据流并行处理控制系统运行过程中相对误差大，消耗内存高，为了解决这一问题，基于聚类算法设计了一种新的高速连续数据流并行处理控制系統。所提出的系统由功能层、数据源、接口层、数据层、资源层、应用层组成系统硬件结构，通过数据的获取、预处理、聚类处理和类别预测四步完成软件流程，软件在运行过程中需要应用聚类算法。为检验控制系统效果，与传统控制系统进行实验对比，结果表明，基于聚类算法设计的高速连续数据流并行处理控制系统在运行过程中相对误差极小，占用的内存少，系统运行效率高，并行处理控制效果好。

关键词： 控制系统设计; 聚类算法; 数据流并行处理; 聚类分析; 参数设置; 对比实验

中图分类号： TN876?34; TP301                    文献标识码： A                     文章编号： 1004?373X（2020）13?0114?05

Design of clustering algorithm based parallel processing control system

for high?speed continuous data stream

LIU Min1， HUANG Wei2， LAN Shimei1

（1. College of Mathematics and Information Science， Guiyang University， Guiyang 550005， China;

2. Guizhou Provincial Water Conservancy Research Institute， Guiyang 550001， China）

Abstract： The traditional parallel processing control system for high?speed continuous data stream has large relative error and high memory consumption. In order to solve this problem， a new parallel processing control system for high?speed continuous data stream is designed based on clustering algorithm. The hardware structure of the proposed system is composed of function layer， data source layer， interface layer， data layer， resource layer and application layer. The software flow is completed in four steps： data acquisition， pre?processing， clustering processing and classification prediction. The software needs to apply clustering algorithm in the running process. In order to test the effect of the control system， it was compared with the traditional control system in some experiments. The results show that the high?speed continuous data stream parallel processing control system designed on the basis of clustering algorithm has minimal relative error， high operating efficiency and good parallel processing control effect， and occupies less memory.

Keywords： control system design; clustering algorithm; data stream parallel processing; clustering analysis; parameter setting; contrastive experiment

0  引  言

随着互联网技术的迅速发展，给人们生活带来众多便利的同时，也产生了越来越多的数据，这给数据价值的挖掘提出了重大的挑战。聚类算法是一种具有广阔前景的海量数据挖掘工具，然而数据量的剧增也给聚类算法及其对应的处理系统提出了更高的要求，传统单机环境已经难以满足现代数据处理应用的需求。

作为一种高技术、高效率的计算机处理手段，在对数据或网络信息进行采集、处理、分析、调控的过程中，并行处理能够有效缩短延迟时间，提高运算速度，换句话说，就是在各类投入的资源上进行重叠覆盖以提高并行度的方式来实现系统效率的升级。……