基于数据湖的环境大数据存储模型
2022-01-13卢华明
北京信息科技大学学报(自然科学版) 2021年6期
关键词:环境
李 硕,卢华明
(北京信息科技大学 信息管理学院,北京 100192)
0 引言
环境大数据的应用目前还处于起步的阶段[1],面临着一系列挑战:环境管理信息系统已经积累了一定数量的环境数据,但数据往往分散地存储在多个信息系统,存在数据孤岛现象;在物联网技术的发展下,资源环境大数据的类型不再仅仅局限于传统的结构化形式,更多的是以文本、项目报告等半结构化与非结构化的形式来呈现;多种数据来源的存储没有统一的技术规范,存储同一种数据的格式不尽相同,存在大量的异构化数据[2]。
针对相关领域结构化、半结构化和非结构化等异构数据增加,数据来源越来越多元化的现状,James Dixon提出数据湖作为一种大数据存储处理和共享服务机制[3]。数据湖是一种能够保存数据原始格式的新型存储架构[4-6],它将所有结构化和非结构化数据存储在一个集中式存储库中,支持分布式地存储海量的结构化数据、半结构化数据和非结构化数据。Sawadogo P.等[7]总结了一种数据湖的3层存储治理模型,数据湖设计成原始数据层、处理层和访问层。针对相关领域大数据多源异构特性,Joseph Mesterhazy等[8]搭建了数据湖用于存储医学影像,使得研究可以快速周转。Chao-Tung Yang等[9]提出将Spark应用于搭建电量使用数据湖。刘志勇等[10]构建了电信数据的数据湖架构,可将原始数据总体压缩44%。亚马逊、微软、阿里云等国内外领先云计算与人工智能企业基于数据湖技术需求,分别提出了AWS Lake Formation、Azure Data Lake、阿里云云原生数据湖分析(data lake analytics,DLA)等技术。……
登录APP查看全文
