郭　平

(广东交通职业技术学院 信息管理中心，广东 广州 510650)



大数据分析中基于MapReduce的空间权重创建方法研究

郭平

(广东交通职业技术学院 信息管理中心，广东 广州 510650)

摘要：大数据空间分析是Cyber-GIS的重要方面。如何利用现有的网络基础设施(比如大规模计算集群)对大数据进行并行分布式空间分析仍然是一大难题。为此，提出一种基于MapReduce的空间权重创建方法。该方法依托Hadoop框架组织计算资源，基于MapReduce模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块，将映射器分布给计算集群中的不同节点，以便在数据中寻找出空间对象的相邻对象，由约简器从不同节点处收集相关结果并生成权重文件。利用Amazon公司弹性MapReduce的Hadoop框架，从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明，该方法的性能优于传统方法，解决了大数据的空间权重创建问题。

关键词：大数据空间分析；MapReduce；空间权重；附近邻居；可扩展性

0引言

大空间数据的出现产生了一些新颖而又颇具挑战性的科学问题[1-3]，例如，空间数据的多尺度表达、基于服务质量保证的空间数据互操作等。为此，人们提出了CyberGIS[4]框架，通过一种空间中间件，利用当前网络融合基础设施(converged infrastructure，CI)所具有的强大计算资源(比如高性能云计算[4-5])来解决这些问题。该框架将空间数据操作、地理可视化、空间模式检测、空间过程建模和空间分析等分布式地理处理组件，无缝地集成为一种可以高效利用CI计算能力的空间中间件。……