李雪梅，邢俊峰，刘大伟，王海洋,2，刘玮,2

1.烟台中科网络技术研究所，山东 烟台 264003；2.中国科学院计算技术研究所，北京 100080

基于HBase的海量GIS数据分布式处理实践

李雪梅1，邢俊峰1，刘大伟1，王海洋1,2，刘玮1,2

1.烟台中科网络技术研究所，山东 烟台 264003；2.中国科学院计算技术研究所，北京 100080

设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程，将海量栅格数据直接写入HBase存储、索引。同时，针对矢量空间数据的存储、索引与检索，提出了一种新的rowkey设计，既考虑经纬度，又考虑空间数据类型和属性，使得在按空间位置检索矢量地理信息时，能通过HBase的rowkey迅速定位需要返回的数据。在H Base的集群环境上用真实GIS数据对上述方法进行了验证，结果表明，提出的系统具有较高的海量数据存储和检索性能，实现了海量地理信息数据的高效存储和实时高速检索。

大数据；HBase；栅格数据；矢量数据；rowkey

1 引言

在全球大数据蓬勃发展的大背景下，我国也紧抓发展机遇。2015年中国大数据技术大会发布了《2016年大数据技术发展趋势》，指出：可视化推动大数据平民化、多学科融合与数据科学的兴起、大数据提升社会治理和民生领域应用等将成为未来大数据的发展趋势[1]。本文顺应大数据发展趋势，在大数据平民化、大数据民生应用等方面进行研究。

传统地理数据处理与存储主要使用Oracle与PostgreSQL的扩展PostGIS等关系型数据库，但关系型数据库在针对海量数据的管理、高并发读写、难扩展、对非结构化数据处理等方面已经开始制约地理信息系统的发展。……