多维数组库Xarray 在数据处理中的应用
2021-10-25曹永正王立鹏温连杰
科学技术创新 2021年30期
曹永正 王立鹏 高 山 温连杰 王 翠
(1、山东省海洋生态环境与防灾减灾重点实验室,山东 青岛266033 2、国家海洋局北海预报中心,山东 青岛 266033)
1 概述
地球科学领域一直与“大数据”密切相关,高分辨率的观测或模拟资料能够更准确地刻画不同尺度的物理过程,但也给数据分析处理带来了困难。近年来随着地球观测手段和物理模型的进步,人类能够获取的气象、海洋和陆地要素越来越多,其中再分析和模式预报结果多以正交网格形式呈现,而船舶、浮标和测站观测记录则是散点形式。为了更方便处理这些不同要素、不同形式的数据,Xarray 提供了一套较为统一的格式和操作工具。
Xarray 是一个开源项目,面向需要N 维数组,尤其是需要数据分析的科研工作,旨在让多维数据有关的工作更加简单、高效。Xarray 在类似NumPy的原始数组之上引入了维度、坐标和属性形式的标签,气象、海洋数据的地理空间和时间、单位、变量名称、注释等信息在处理过程中都得以保留。Xarray 通过数据引擎的方式,对netCDF、GRIB 和ZARR 等研究中常用格式都提供了相应支持。
Xarray 最早开发与2014 年,期间经过数十次更新迭代,功能已经日趋成熟和强大,目前最新版本为v0.19.0,本文内容基于该版本。
2 数据的查看与获取
针对不同需求,Xarray 提供了两种数据类型:
DataArray:带有标签或名称的多维数组。DataArray的基础是一个多维数组矩阵,在此基础上添加了用以描述该数组的元数据信息,既维度名称、坐标和属性等。
Dataset:可以看做是多个DataArray的集合,这些DataArray具有相同的维度,是彼此“对齐”的,他们有各自的元数据信息,但也可以有公用的部分。……
登录APP查看全文
