PGIS海量空间数据加载方法研究
2018-11-26于晓昀
于晓昀

摘要:随着空间数据的不断膨胀,在PGIS中进行空间分析与图形展示会出现数据读取慢和客户端图形加载时延长的问题。为解决以上两个问题,该文从数据读取的角度提出了使用分布式文件存储数据库MongoDB快速读取数据的方案;从服务器端分析和客户端加载的角度研究了地图-像素映射快速抽稀算法。实验结果表明,在亿级数据量下,数据读取速度较传统关系型数据库可提升10-20倍,抽稀算法在保持数据特征的同时能够加快客户端图形的加载速度,可显著优化PGIS的图形加载性能。
关键词:PGIS;MongoDB;抽稀算法
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2018)23-0041-02
Abstract: With the continuous expansion of spatial data, problems as slow data reading, lazy loading in client-side and slow responding to users may occur during data analysis and graphical presentations in PGIS. In this paper, the solutions were proposed from three perspectives to solve the two problems. The non-relational database MongoDB was used for faster data access from the perspective of data reading; maps - pixel mapping fast thinning algorithm was proposed from the perspective of both server-side and client-side. Experimental results show that data reading speed can be increased by 10 to 20 times than traditional relational databases when reaching Billion level data. The thinning algorithm can not only maintain data characteristics but avoid rereading and reloading, and graphics loading performance of PGIS can be significantly optimized as well.
Key words: PGIS; MongoDB; thinning algorithm
1 背景
随着网络技术及地理信息技术的快速发展,基于PGIS的应用渗透到各类公安业务中。目前,公安部下发的最新PGIS版本为1.6,支持html5的新特性,采用Oracle存储空间矢量数据和警用业务数据。海量空间数据为公安业务应用提供了丰富的资源,与此同时也提出了挑战,人口规模在千万级的城市,其人口流动、住宿、移动警务等所获取的位置数据达到了亿级,庞大的数据量增加了PGIS中图形加载过程中数据读取、数据处理和客户端加载三个环节的负荷。1)数据读取速度慢。从海量空间数据中再次提取并使用数据的代价十分昂贵,传统的数据存储结构与读取方式无法满足快速读取数据的需求[1]。2)数据大量冗余。空间数据存在节点数据冗余过大问题,需要通过适当的抽稀算法进行去冗余处理,提取有效信息[2]。3)客户端加载超负荷。……
