大数据时代下数据分析的主要变化

2016-11-09王渊

商 2016年30期

王渊

摘要：在分析大数据时代的背景下笔者对“大数据时代”做了个界定，并从数据分析出发界定了“大数据”的概念。同时，根据大数据的特点，从几个方面剖析了大数据时代下数据分析的主要变化，明确了今后经济统计研究中需要注意的一些问题。

关键词：大数据；大数据时代；数据分析；统计学

一、引言

随着互联网特别是移动互联网的发展，信息化渗入到社会经济各方面、人们日常生活中。根据相关资料的显示，在1998年至2014年间，全球网民每月使用流量就增长了近万倍。在2001年一年内，全网流量累计达到了1EB（1EB=TB），2004年需一个月，在2007年则是1周，而到了2013年仅用一天的时间。[1]据思科之前预测，到2016年全球将会产生高达1.3ZB（1ZB=TB），将这个数字形象化一点就是全球网络每小时会传输超过3800万张DVD所容纳的数据量。大数据充斥着人类经济社会的许多角落。

在《第三次浪潮》一书中，著名未来学家阿尔文·托夫勒（1980）将大数据形容为“第三次浪潮的华彩乐章”。近年来，社交网络、物联网、云计算逐渐占据人类生活圈，使得数据的规模越来越大。麦肯锡在2011年5月发布的《大数据：创新、竞争和生产力的下一个前沿领域》报告中指出，“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”，这也标志着“大数据”时代的到来。

朱建平、章贵军等（2014）[2]认为大数据时代是在互联网、物联网等现代网络渠道广泛收集数据资源的基础上建立起来的数据存储、价值提炼、智能处理和展示的信息时代。其基本特征主要体现在社会性、广泛性、公开性和动态性几个方面。

二、大数据概念的界定

关于什么是大数据目前没有统一的说法，不同态度和学科背景的定义者对其的理解不同。比较有代表性的定义主要有以下几种。

维基百科认为，大数据是指在目前主流的软件工具的支撑下，仍无法在合理的时间内对规模巨大的资料进行撷取、管理、处理、并整理，使之能帮助企业做出更积极的经营决策的资讯[3]。

“大数据”研究机构Gartner给出的定义是：大数据是需要新的处理模式，使海量、高增长率和多样化的信息资产可以拥有更强的决策力、洞察力和流程优化能力①。

大数据科学家John Rauser提出了一个简单的定义，大数据指任何超过了一台计算机处理能力的数据[4]。

而对于麦肯锡全球研究所来说，大数据是指在规模上远远超出传统数据库承载能力的数据集合，海量的数据规模、多样的数据类型、快速的数据流转和低密度价值是其四大特征[5]。

Gartner公司的Merv Adrian（2011）认为，大数据超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力[6]。

还有一些学者没有给出大数据的具体定义，但概括了大数据的特点。从Dumbill（2012）采用IBM公司的“3V”特点②到IDC坚持的“4V”特点③，再到刘念真（2013）给出的“5V”特点④[7]，都是对大数据特点和定义的延展。

大数据的定义之所以言人人殊，主要是由于大数据本身所涉及到的内容“大”，大家可以从不同的角度理解它。总的来说，大数据可以从广义和狭义两个层面来理解，狭义的是从数据的字面含义来看，是指数据所具有的规模和结构形式；如果从广义上来看的话，大数据除了字面的意义外，更是包含了数据处理的技术。

大数据的核心是数据，而数据是统计研究的对象，对数据进行正确的统计分析是从大数据中寻找有价值信息的关键。因此，我们可以从统计学科的性质来理解，大数据是指那些传统数据处理系统无法承载，并跨越经典统计思想研究范围的复杂数据的集合。对于这一数据集合，为了达到商业价值和公共事业服务性的实现，我们可以运用新的统计思想分析管理，在现代计算机技术的媒介支撑下获取所需的信息和知识。

三、数据分析的主要变化

（一）分析思路

传统的统计分析方法通常是“先假设后关系”，即先假设某种关系的存在，然后设定理论模型，再根据之前的假设计算变量之间的关系，这种思路一般只适用于处理小数据。而大数据时代的数据量和变量数目都很庞大，传统的分析思路有些超脱实际。因此，大数据时代的分析常常是直接计算现象之间的相依性。

传统的统计分析过程是“定性-定量-再定性”，第一个定性是为定量分析找准方向，主要靠经验判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数据分析做出判断，所要做的是直接从“定量的回应”中找出数量特征和数量关系，然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的过程可以简化为“定量-定性”[8]。

在实证分析上，传统思路通常是“假设-验证”，先根据最终的研究目的提出假设性意见，然后收集分析数据，进而验证假设的成立与否。这种实证分析容易受到数据的缺失、假设的局限性以及指标选择的不当等的影响，得不到正确的结论。尤其是在假设本身的非科学性、非客观性、非合理性的情况下，得出的结论更是毫无用处，甚至歪曲事实本身。在现在的大数据时代，可以从中寻找关系、发现规律而不受任何假设的限制，然后得出结论，分析的思路可以概括为“发现-总结”。

（二）研究对象的变化

首先，从数据来源上看，由于传统经济学以及统计学研究中数据收集成本条件的限制，人们往往采用抽样调查的方式，对抽取的少量样本进行分析研究，这种方法也一直延续到现在，可以说是统计学等研究领域的主流调研方式。样本抽样研究对抽取的样本的质量要求是非常高的，否则会对最终的研究结果产生巨大的影响。传统的统计抽样调查方法有一些不足：抽样框不稳定，随机取样困难；事先设定调查目的会限制调查的内容和范围；样本量有限，抽样结果经不起细分；纠偏成本高，可塑性弱。而在大数据时代，更多的是将总体直接作为研究对象，摒弃了抽样样本的研究，传统统计抽样调查方法的不足可以在大数据时代得到改进。

其次，对于数据类型而言，传统数据通常是结构型的，即定量数据加上少量的定性数据，格式化，有标准，可通过常规的统计指标和统计图来表示。而大数据则注重非结构性数据或者半结构、异结构数据，多样化、无标准，很难通过传统的统计指标或统计图表加以表现。

（三）假设检验的变化

传统的统计研究，通常是根据内容提出假设意见，然后根据最初设定的理论模型来检验验证假设的真实效用性。但对于大数据时代而言，信息资源充足，可以采用人工智能对数据信息进行挖掘开发，需要验证的假设比传统经济学研究多出很多，不在一个数量级上。传统的假设验证分析是无法满足大数据时代的需求的[9]。

（四）分析关系的变化

预先假设事物之间的因果联系，再设定理论模型验证预先的假设，这是传统统计分析工作的一般工作模式。在大数据时代，由于数据规模的庞大，数据结构的复杂多样等，使预设的因果关系会相对复杂很多，给分析工作带来很大的不便。预示，大数据时代的数据分析便侧重于关注事物之间的相关联性，而非因果关系。

在小数据时代，计算机存储和计算能力不足，导致大部分相关分析限于线性关系。大数据时代，现象的关系相对更复杂，不仅可能是线性关系，更有可能是非线性关系。这种非线性关系除了可能是非线性的函数关系外，更一般的情况不清楚关系的具体形式，只知道现象之间的相依的程度。由于在大数据时代数据结构和数据关系错综复杂，很难在变量间确定的函数形式并在此基础上探讨因果关系，因此大数据时代一般不做原因分析。

（五）建模思想的变化

传统的统计往往采用模型来进行研究，但是模型不是万能的，各个模型并不是完全一样，而是各有所长，同样也有其自身的局限性。因此传统的统计研究所得出的结论只能表示所用模型的结论，却不具有普适性。如果用另一个模型，结论可能就会大相径庭，研究结论是脆弱的。除此之外，在研究同一问题时，即使开始设定的理论模型是一样的，但不同的研究者在研究时所选择的变量、方法等方面的不同，也会导致研究结论的不同。

在借助分布式处理、人工智能和云计算等现代信息技术的大数据时代背景下，可以采用数以千计的模型来进行研究。在2009年美国甲型H1N1流感爆发之际，谷歌公司对其进行了大胆的预测，将上千万条美国人的高频检索词和疾控中心在2003～2008年中间的（季节性）流感时期进行了大量比较，总共处理了将近5亿的数字模型，其结果与官方数据相关性达到了97%，比官方时间省事半个月左右，为相关部门积极解决问题争取了弥足珍贵的时间。

四、小结

大数据不仅可以理解为数据规模巨大、数据结构复杂，还可以理解为处理大规模复杂数据的技术。通过上述数据分析的主要变化的剖析，在今后的经济统计研究中需要注意一些问题。对于统计研究过程，传统的统计研究过程主要包括设定模型、收集数据、整理与分析和统计资料的积累、开发与应用四个基本环节。大数据时代下仅包括数据整理与分析和数据的积累、开发与应用两个基本环节。对于统计研究方法，大数据的统计分析是以相关关系为基础展开的，分析的不仅是线性相关，更多的是非线性相关和不能明确函数形式的相关。对于统计研究目的，传统统计研究的目的主要是探寻现象或变量之间相关关系、因果关系以及建立在相关关系或因果关系基础上的预测分析。大数据时代统计研究的目的主要是现象间的相关关系以及建立在相关关系基础上的预测分析。对于统计研究工作思想，传统统计研究工作中，通常采用样本数据和相对比较复杂的模型获取信息，一般是事后检验；在大数据时代，样本即总体，可以巧用简单模型或者不用模型，可以较方便地进行事先预测。

（作者单位：兰州财经大学统计学院）

注释：

① http：//baike.baidu.com/item/大数据/1356941

② “3V”特点，即规模性（Volume）、多样性（Variety）、实时性（Velocity）

③ “4V”特点，在3V的基础上增加了价值性（Value）

④ “5V”特点，即规模性（Volume）、多样性（Variety）、实时性（Velocity）、真实性（Veracity）和价值性（Value）

参考文献：

[1] 邬贺铨.大数据时代的机遇与挑战[J].求是，2013，04：47-49.

[2] 朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014，31（2）：10-19.

[3] http：/ /zh.wikipedia.org/wiki/：大数据.维基百科，2012 -10 -5.6.

[4] Mckinsey Global Institute，Big Data：The next frontier for innovation，Competition and productivity，2011 -5.

[5] http：/ /www.networkworld.com/news/2012/051012 - big-data -259147.html.