基于粒度理论的高维数据流并行计算方法
2021-11-17胡顺仿
计算机仿真 2021年5期
关键词:方法
路 晶,胡顺仿
(1. 中国民用航空飞行学院,四川 广汉 618307;2. 云南民族大学,云南 昆明 650000)
1 引言
随着计算机网络、数据库、通信等技术的高速发展,导致了信息数量的爆炸性增长,许多领域出现了高速产生、动态变化的流式数据[1],如销售业务中的交易数据流、金融市场的交易数据流、环境监测的实时数据流都以高维属性发挥各自的作用,研究人员称这种类型的数据为高维数据流[2,3]。由于高维数据流的应用逐渐广泛,如何在具备关联性的高维数据流之间进行并行计算成为了目前研究的热点[4]。
许多相关学者对此进行了大量研究,目前,常用的数据流计算处理方法主要有基于GPU并行处理的大规模连续潮流批量计算方法和基于分治法求解对称三对角矩阵特征问题的MPI/Cilk混合并行方法,虽然都获得了一定的研究成果,但是上述方法主要面向传统类型的静态数据,数据只能匀速到达且到达次序不独立,还要受系统控制,当数据流数量以及类别增多时,存在计算精度低和计算效率慢的问题。在此背景下,研究效率更高的高维数据流并行计算方法显得尤为重要[5-7]。
因此,提出基于粒度理论的高维数据流并行计算方法,该方法主要包括四个部分,一是挖掘高维数据流,利用粒度理论可逐渐降低数据流环境的复杂性,可对数据进行更有效的分析处理。二是利用基于局部保持投影(LPP)原理和主成分分析(PCA)原理对数据噪声进行压制,使数据流可以进一步处理。……
登录APP查看全文
