海洋大数据管理技术:架构、平台与存储策略
2021-03-31韦广昊韩春花田先德杨锦坤苗庆生
海洋信息技术与应用 2021年4期
关键词:数据库
韦广昊,韩春花,田先德,杨锦坤,苗庆生
国家海洋信息中心 天津 300171
海洋大数据管理前端衔接数据感知、采集与传输,担负着海洋大数据有机整合、统筹管理、挖掘分析和共享服务,其后端延伸支撑各类海洋信息应用服务的高效稳定运行[1],是海洋数据应用的核心基础。近年来,随着我国海洋观测调查对象多样化、观测方式多源化、观测仪器高精度、高分辨率和自动化,以及站点布设密度加大,使得海洋数据呈现出爆棚式增长,传统海洋数据管理方式的缺陷日益凸显。另一方面,国家提出了将数据资产作为生产要素纳入市场经济流通的战略。管好用好多源异构海量海洋数据,充分释放海洋数据红利,作为数据载体和驱动力量,海洋大数据平台框架和存储策略等内容的设计,是影响整体运行效果好坏的关键因素。因此,本文在分类分层海洋大数据资源规划研究基础上,围绕大数据平台框架、数据计算存储架构和策略等技术发展现状,结合海洋综合数据库关键技术攻关与应用实践结果,简要介绍了海洋大数据平台搭建、存储管理的设计思路和模型建立,以及数据库实体构建与管理方案等内容。
1 大数据管理技术总体架构
1.1 大数据总体架构
大数据存储管理与数据的自身特征及采集应用特性等息息相关,是大数据平台不可分割的有机整体且环环相扣。近年来,随着大数据技术的不断发展,大数据生态已经趋于成熟,相继推出了许多生态环境以应对各异的数据应用需求。……
登录APP查看全文
