许吴环

[摘 要] 大数据环境下传统的数据处理方式不再适用，以云计算技术为支撑的大数据处理平台的出现为落实大数据应用提供了可行思路。为此，在归纳了开源Hadoop和Spark平台各自优缺点后，指出其应用场景，以更好地利用大数据。通过比较常用大数据平台发现，Hadoop适用于数据密集型任务，并广泛应用于离线分析。Spark因其基于内存的计算，在迭代计算和实时分析领域占据优势。并发现他们在功能上有较强的互补性，有时二者协同使用可以优化效益，Spark和许多Hadoop发行版已经互相支持实现。经过此项探讨工作，期望有利于选择和实施大数据处理平台，实现大数据资源的更大价值。

[关键字] 大数据特点；大数据平台；比较研究

[中图分类号] TP202 [文献标识码] A [文章编号] 1002-8129（2017）01-0103-04

一、大数据的特点与处理平台概述

1.大数据的特点。

目前，大数据还没有一个标准的定义，但是把握大数据的特征，有助于加深对大数据内涵的理解。数据具有的3V特征，即规模大（Volume）、种类多（Variety）、速度快（Velocity），在业内已经基本成为统一认识。规模大，意味着数据量不断扩张，数据量级将从现在的GB、TB增长到PB、EB甚至达到ZB级。种类多，是指数据类型有结构化、半结构化和非结构化，其中文字、图片、音频、视频等非结构化数据占更大比例。速度快，表示大数据有强时效性，数据通常快速地产生，又需要及时地进行处理分析，才能有效地实现大数据的经济价值。

“大数据的处理过程可以分为：数据抽取与集成、数据分析以及数据解释”[1]。……