APP下载

大数据技术下海洋测绘数据的存储与挖掘

2020-07-31苗炳迪吴二立

江西测绘 2020年2期
关键词:数据挖掘测绘测量

孙 伟 苗炳迪 吴二立

(1.宁波海洋研究院 浙江宁波315042;2.浙江大京生态环境科技有限公司 浙江宁波315042;3.宁波市天一测绘设计研究有限公司 浙江宁波315100)

1 引言

在计算机信息技术快速发展的背景下,社会已经进入了信息化时代,大量的数据产生于社会中的各个领域,同时大数据技术在数据信息的处理上也得到了普遍的应用。在对海洋资源进行开发的过程中,对海洋环境的变化进行有效的测绘,就需要实现采集、存储和处理相应的海洋测绘数据,这时对于海量海洋测绘数据的处理和应用也成为了越来越多学者关注的问题。随着大数据技术的出现,在海洋测绘数据的采集、存储和处理方面,大数据技术都发挥着越来越重要的作用。

1 大数据技术概述

随着计算机信息技术以及物联网技术的快速发展,大数据技术在社会众多领域中都得到了较为普遍的应用,而在当前环境下,应用较为广泛的大数据技术包括Hadoop、Hbase、Hive 等技术。其中Hadoop作为一种分布式计算平台,其结构中主要包含HDFS文件系统以及Map Re duce 计算框架,其中HDFS文件系统是一个并行的文件系统,具有高扩展性和高容错性的功能,能够保证分布式系统的正常稳定运行和对大量的海洋测绘数据进行存储和管理[1]。大数据技术概述图如图1 所示。

图1 大数据技术概述图

HDFS 作为一个分布式文件系统,其具有较好的扩展性,在对大量的海洋测绘数据进行存储的时候,不再需要一个额外的服务器集中存放海洋测绘数据,而是可以进行分散存储于系统的不同节点。……

登录APP查看全文

猜你喜欢

数据挖掘测绘测量
探讨人工智能与数据挖掘发展趋势
浙江省第一测绘院
工程测绘中GNSS测绘技术的应用
04 无人机测绘应用创新受青睐
基于并行计算的大数据挖掘在电网中的应用
无人机在地形测绘中的应用
测量
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究