唐峰　杜宏宇　蔡家轩　韩佳琦　孙鸿羽

【摘 要】在所有大数据技术中，MapReduce由于在批处理大规模数据方面的卓越性能，已经成为现今大数据的核心算法，但使用者对MapReduce的理解仍是不全面的，甚至是错误的。基于此，本文对MapReduce进行了客观分析并提出了在水产行业中的应用前景。

【关键词】MapReduce;水产行业;大数据

中图分类号： S951.2;TP311.13 文献标识码： A 文章编号： 2095-2457（2019）17-0115-002

DOI：10.19694/j.cnki.issn2095-2457.2019.17.054

MapReduce Computation Model and its Application in Aquatic Agriculture

TANG Feng DU Hong-yu CAI Jia-xuan HAN Jia-qi SUN Hong-yu

（School of mechanical engineering，suzhou university of science and technology，Suzhou Jiangsu 215009，China）

【Abstract】Among all the big data technology，MapReduce has been Core Algorithm Ways in big data due to its excellent performance in batching large-scale data.But the understanding of users are one-sided，even its wrong.On the basis，this paper makes an Objective analysis for MapReduce and puts forward the application prospect in Fishing industry.

【Key words】MapReduce;Big Data;Aquatic agriculture

0 前言

我国的水产农业正在向“农业4.0”方向发展。MapReduce计算范型作为一种典型的批处理计算范型，已经在很多领域获得了极为广泛的应用。与传统的MPP架构相比，MapReduce更适合非结构化数据的ETL处理类操作，且其可扩展性及容错性明显占优[3]。MapReduce提供了简洁的编程接口及完善的容错处理机制，使得大规模并发处理海量数据成为可能。因此充分了解MapReduce已成为应用开发者的必然选择。

MapReduce分布式计算框架在2004年被首次提出，它不单单是一种分布式计算模型，同时也是以大规模商业电脑（成千台机器）为基础的一整套批处理计算框架。MapReduce可以很轻易处理即使PB级规模的数据，并通过提供简单应用接口的方式，使得在设计分布式计算系统时所需要考虑的，如系统容错以及任务调度等复杂问题很好协调封装起来，这样就大大降低了应用开发者的工作强度与难度，只需保证业务逻辑无错误即可完成任务。

1 MapReduce计算模型

在处理各种各样的大数据问题时，会要求程序员去处理与分布式计算相关的种种让人头疼的问题，比如，如何使计算并行化，如何处理失败等。……