耿晓斐

摘要：随着以AI、大数据、云计算技术的深度融合，以深度学习为代表的研究为数据更好的利用提供技术支持。为深入理解大数据技术的内涵，从大数据的定义、4V特征、体系架构等方面进行阐述。介绍了大数据的基本概念、特征，总结了云计算、系统层、算法层、应用层的核心技术及关键策略。

关键词：大数据;4V定义;体系结构;

一、大数据定义

大数据这一概念目前没有统一的定义。现在业界一般认可国际数据公司（IDC）用四个维度的特征来定义大数据，即数据集的规模（Volume）、数据流动的速度（Velocity）、数据类型的多少（Variety）和数据价值的大小（Value）。具体来说，大数据具有以下4个基本特征：

一是数据体量巨大，从 TB 级别，跃升到 PB 级别。

二是数据类型多样。现在的数据类型不仅是结构化数据，还有以半结构化、非结构化数据为主体的，如是图片、视频、音频等多类型的数据，个性化数据占绝对多数。据统计，2012 年互联网中非结构化数据量已达到75%以上。

三是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

四是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。这一点也是和传统的数据挖掘技术有着本质的不同。业界将这其归纳为 “4V”——Volume，Variety，Value，Velocity。

二、大数据平台体系结构

从信息化角度来看，大数据系统一般由构架层、系统层、算法层、应用层四块组成。

1.构架层

大数据与云计算融合是技术发展的趋势，云计算解决大型数据中心的资源利用率提升和自动化运维管理，它管理的对象中显然包括需要使用大量计算资源的“大数据”系统。……