王晓桐,房俊华,张蓉

(华东师范大学数据科学与工程研究院上海高可信计算重点实验室,上海200062)

分布“可扩展数据流连接算法

王晓桐,房俊华,张蓉

(华东师范大学数据科学与工程研究院上海高可信计算重点实验室,上海200062)

Join-Matrix是一种高性能的连接矩阵模型,方B部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.

数据流连接;Join-Matrix;数据划分;分布式计算

0 引言

随着在线实时分析连续数据流的需求日益增多,处理时刻变化数据流的新型应用越来越普遍,包括传感器网络、金融数据在线分析和网络入侵检测等.诸如此……