杨　刚　杨　凯

(陕西理工学院数学与计算机科学学院　汉中　723000)



大数据关键处理技术综述*

杨刚杨凯

(陕西理工学院数学与计算机科学学院汉中723000)

摘要大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命,大数据的发展、研究必将改变世界。先简介大数据的概念及其特征、大数据发展历程、大数据与云计算的关系;接着叙述了大数据分析和处理的比较成熟的平台:Spark和Hadoop;然后对大数据处理的若干关键技术:大数据采集、大数据预处理、大数据的存储及管理、大数据的分析和挖掘、大数据的统计分析等进行了较系统的分析、归纳和探讨。

关键词大数据; Hadoop; 数据挖掘; NoSQL数据库

Class NumberTP309

1　引言

现代数据的种类和规模与日俱增,大数据时代已到来。大数据对数据处理的实时性、有效性提出了更高的要求,需要根据大数据特点对传统数据处理技术变革,形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。本文主要归纳、分析大数据处理的若干关键技术。

2　大数据概述

2.1大数据的概念及其特征

大数据不是一种新技术、新产品,而是一种新现象。大数据的概念较为抽象,没有统一、确切的定义。麦肯锡将大数据定义为:无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合[1]。维基百科定义大数据为:巨量数据、海量数据,它指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息[2～3]。……