胡均国,任江林,黄 坚

一、大数据的概念和特征

许多学者对大数据概念进行了研究和定义,麦肯锡认为,“大数据”是指其大小超出了典型数据库软件的采集、储存、管理和分析等”;[1]维基百科认为,“大数据是指利用常用软件工具来获取、管理和处理数据所耗时间超过可容忍时间的数据集”。[2]蒙岚认为“大数据由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力”。[3]

大数据的特征有“3 V”、“4 V”和“5 V”之说,笔者认为“5 V”最为全面,“5V”指:数据规模大(Volu me),数据处理速度快(Velocity),数据结构复杂(Variety),数据价值密度低(Val ue),数据真实性强(veracity)。

数据规模大(Vol u me)指反映量级规模巨大,从存储单位看,其经历了由字节(Byte)、千字节(KB)、兆字节(MB)、吉字节(GB)、太字节(TB)、拍字节(PB)、艾字节(EB)、泽它字节(ZB,又称皆字节)、尧它字节(YB)转变,单一数据集的规模范围从几十TB到数PB不等,大数据的规模是一个不断变化的指标,从面临着数据量的大规模增长上看,如今数据开始以几何级增长,《数据宇宙》报告显示,2010年全球数据为1．2ZB,以后每年数据量将增长40%,到2020年,全球数据量将突破35ZB(1 ZB＝1024 EB,1 EB约等于4462个美国国会图书馆的数据存储量,约等于6626亿部《红楼梦》的数据量)。

数据处理速度快(Velocity)指大数据生产和增长速度的高速性,在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势,目前的电脑处理器的速度正飞速发展,特别是大型计算机处理速度已按每秒千万亿次量计,中国国防科技大学研制的“天河二号”超级计算机,2014年就达到以每秒33．86千万亿次的浮点运算速度。……