APP下载

Spark平台下的凸包问题研究

2018-11-17李格非马蔚吟

计算机工程与应用 2018年22期
关键词:实验

李格非,马蔚吟,李 力

1.上海交通大学 计算机科学与工程系,上海 200240

2.南京医科大学 基础医学院,南京 211166

3.上海交通大学 软件学院,上海 200240

1 概述

空间数据无处不在。在过去的十年里,随着移动互联网的发展,从移动设备、卫星等设备获取到的空间数据数量呈现出爆炸性增长的趋势。凸包问题是空间数据处理中的一个重要问题,在模式识别、图像处理等多个领域中有重要应用。当数据量从GB数量级增加到TB,甚至PB数量级时,如何高效率地在这些数据上进行凸包查询成为一个挑战。最开始时,人们使用单台计算机进行空间数据的凸包查询,随着空间数据的数据量越来越大,单台计算机的计算和存储能力逐渐成为瓶颈。于是分布式计算的概念发展起来,用来解决单台计算机计算能力的瓶颈问题。Hadoop[1]是一个广为使用的分布式计算框架,有许多基于Hadoop的系统,如CG_Hadoop[2]等,被提出解决凸包查询问题。但是Hadoop基于硬盘数据读取的计算,使其适用于离线的分析任务,针对一些实时的查询分析,应用Hadoop在吞吐量和响应时间上的要求远不能达到数据分析学者的要求。

Apache Spark[3](后文简称Spark)是一个常见的用来实现高吞吐低延时查询的框架,其基于内存计算的特性,使得Spark在性能上超过Hadoop多个数量级。Spark使用弹性分布式数据集(Resilient Distributed Dataset,RDD[3])实现基于内存的数据存储和计算,使用谱系图(Lineage Graph)[4]保持框架计算的容错性。现有的一些基于Spark的空间几何计算引擎[5-7]使用RDD API调用Spark的计算引擎,为用户提供计算接口完成凸包查询。……

登录APP查看全文

猜你喜欢

实验
记住“三个字”,写好小实验
记一次有趣的实验
有趣的实验
做个怪怪长实验
NO与NO2相互转化实验的改进
实践十号上的19项实验
《实验流体力学》征稿简则
我实验,我快乐