APP下载

轻量级遥感数据分布式调度框架DataboxMR

2021-07-23孟祥海王学志赵江华周小华

数据与计算发展前沿 2021年3期
关键词:引擎数据处理用户

孟祥海,王学志,赵江华,周小华

1.中国科学院计算机网络信息中心,北京 100190

2.中国科学院大学,北京 100049

引 言

随着遥感数据处理技术的不断丰富和发展,遥感数据处理能力不断增强,处理手段更加丰富,发展出较多成熟的遥感数据处理技术,例如,利用人工智能技术进行云雪检测、利用rasterio访问栅格数据等,充分发挥不同遥感数据处理技术的优势,提升遥感数据处理的效率和水平是研究遥感数据处理的关键。遥感数据处理涉及数据解译、处理和专业应用等,目标为形成多源遥感基础数据产品和专业数据产品。基于遥感数据(特别是高分辨率遥感影像数据)的信息提取技术获取有效信息,可为专业应用提供数据支撑,可应用于土地遥感分析、植物遥感分析、水体和海洋遥感分析等领域。信息提取的前提是对遥感数据进行有效地组织、处理、计算和分析等操作。

作为连接遥感数据和专业应用之间的媒介,遥感数据处理系统建设正临着数据密集、计算密集、并发访问密集、时空密集等实际应用带来的挑战[1]。传统单机处理的服务模式已不能满足遥感大数据的处理需求,为此需要引入分布式系统对空间数据进行处理[2-4],依托分布式处理技术提高处理遥感数据的规模和效率。

目前主流分布式计算框架Hadoop、Storm、Spark等在遥感数据处理方面均取得了较好的效果,根据数据的格式及内容提供实时处理和离线批处理[5]。张嘉等基于HBase预分区优化策略,结合MapReduce计算框架,构建了空间数据分布式计算与分析的优化流程[6]。……

登录APP查看全文

猜你喜欢

引擎数据处理用户
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
蓝谷: “涉蓝”新引擎
关注用户
关注用户
关注用户
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
无形的引擎
基于Cocos2d引擎的PuzzleGame开发
如何获取一亿海外用户