钟磊

广东邦鑫数据科技股份有限公司 广东广州 510310

1 大数据技术概述

大数据也被称为巨量数据，是指数据规模较大、在短时间内无法进行人工截取和管理，需要通过计算机技术对数据进行处理，涵盖大数据平台和相关指数体系，是目前助力产业发展和城市建设的先进技术形式。现阶段，大数据技术包括数据采集、预处理、挖掘和存储等多方面内容，数据采集主要通过传统的MySQL和Oracle等数据库，对网络数据进行识别与收集，目前由于数据技术的发展，通过开源Kettle和Talend，可实现对主流数据库之间的同步与集成，使得非结构化或半结构化数据得到统一处理，达到对本地数据资源的采集与优化管理[1]。

2 海洋测绘数据分析

海洋测绘数据种类繁多，不仅包括温度、盐度、深度等水文信息，也包含地址信息、生物信息以及遥感信息等，这些不同类型的数据有不同的特点，在对它们进行存储和处理时需要考虑到它们的处理需求和存储格式。在分析了海量的海洋测绘数据后可以发现，海洋测绘数据的特点如下：

（1）海量。在进行海洋测绘时会有大量的监测点，它们收集到的数据结构复杂，而且是动态变化的，这就决定了势必会产生大量的测绘数据，仅仅使用本地存储难以满足海量数据的存储需求。

（2）数据格式及结构存在差异。不同的测绘数据的记录格式是不同的，存储结构也随之不同，造成测绘数据在存储时并没有一个统一的数据结构标准。已经收集到的海量海洋测绘数据包含了海洋、地址、水文等多方面工作人员的辛劳汗水，所以在收集到的数据的积累、存储等方面需要慎重考虑，需要结合海洋测绘数据的特点提高存储、处理的高效性和安全性；……