吕翰林

在电子通信技术、信息技术得到迅猛发展的今天，世界范围内的数据以爆炸式的速度膨胀，在庞大的数据面前，高效的数据挖掘和数据分析将进一步带动各行各业、整个国家和社会的可持续性现代化发展。特别是在大数据挖掘和大数据分析的工作之中，统计分析越来越引起人们的重视。

大多数的传统统计方法在被用来研究大数据之时都有其不足之处。首先，传统统计方法只适用于单一电脑所储存的数据的分析，这必然会给数据处理与数据整合带来一定的难度；其次，由于大数据的数据源有着体量大、多样、快速、实时等特性，使得传统统计方法很难满足。所以，要顺应大数据时代的新研究课题，就需要不断完善传统统计方法，才能更好地让其为人们所用，因而在大数据环境下，探究与研析统计分析已成为一个热点和难点问题。

一、相关概述

（一）大数据统计概述

随着人类社会的进步与发展，大量的数据和信息不断积累，这些数据与信息通常被称作“大数据”。大数据的特征主要表现在以下四个方面。（1）海量的数据量。传统的数据采集与应用数据多为KB级、MB级，而大数据的采集与应用则达到GB级，乃至TB级、PB级、EB级。（2）在允许的时间内，传统计算机不能进行数据处理。传统计算机在处理海量的数据时，由于其运算能力的限制，难以有效地进行数据分析和数据处理。（3）多样化的数据与信息。传统统计数据多为结构化数据，例如时序数据、平行数据、截面数据等，但大数据的信息与数据的范围却扩大了很多，包括图片、文本、影像、语音、网络搜寻、日志资讯、统一资源定位符等。（4）价值比较高，但数据的价值密度却很低。一堆无益的、无法提升人们认知能力的数据，就不能算是“大数据”，“大数据”的高价值在于它所包含的资讯可以带来传统数据所不具备的精确信息，然而，因为数据量太大，单一的数据单位或者样本所带来的信息的价值就会下降，唯有开展大量的数据分析，才能将其全部的价值信息萃取出来。如今越来越多的应用都和大数据有关，而大数据的特性，比如速度、体量、多样性、实时性等都显示出了大数据复杂化的趋势，因此在大数据领域，大数据统计方法非常重要，甚至可以说这是一个决定最终信息价值的关键要素。

（二）经济预测概述

经济预测是一种关于未来经济状态的预断和估算，是一种关于未来的经济分析，目的在于降低不确定因素给经济活动带来的各类影响。这是一种科学合理、对未来的经济发展状况进行认知的活动。经济预测是一种能够持续不断地重复进行的分析程序，其目标是为未来的经济决策提供依据。要想提升经济决策的准确率与正确率，就必须通过预测的方法来提供关于未来的信息，让政策决定者更深刻地理解未来，将不确定因素减到最小，在多种选择与方案之中做出最佳决定。经济预测从社会经济发展的历史与现实情况出发，以科学的预测手段为基础，推究阐明各种经济学现象的发展规律，以及各种经济学现象的关系与联结，从而确定各种经济现象在今后的发展方向以及它们所能实现的程度。

二、传统统计方法在经济预测中的运用缺陷

（一）统计时间较长，数据滞后

宏观统计数据要在经济活动出现之后由有关部门进行统计与汇集整理，这一过程耗时很久，所得到的数据指标均落后一年甚至是落后一季。一般来说，衡量与预测一个国家经济走势最重要的指标就是国内生产总值，而国家统计局只会一季度发布一次GDP报告，所以，每月经济走势的研析都是按照国家统计局按月公布的宏观数据报告来进行的，该方法假设下一年或者未來几年的经济发展水平都与以往的平均经济增长率一致。此方法适用于事物的量变过程的“同质性”，也就是事物的变化过程是向上或者向下的，并且变化的幅度并不大，不然这种方法就不适合被采用。但事实上，最近几期的环比发展速度对未来几期的预测结果会有更大的影响。所以，有经济学者提出可以运用不同的权数与加权来衡量过往年份的环比发展速度，并采用增加近期权数的方法来强化近几期的速度，然后利用这些结果来算出平均增长速率，从而对未来经济发展形势开展更为精准的预测。

（二）人为搜集数据，存在误差

统计数据是人工收集和统计汇总的，因为人工干预过多，耗时太久，很难保证数据的精确性，所以统计出来的数据往往会有很大的偏差，如果用这种有误差的统计数据来进行预测，将使预测的偏差进一步扩大。统计数据的精确和真实是确保数据的水平与质量的根本条件。统计误差是影响统计质量的一个重要因素，它直接波及统计数据的精确度与真实度。由于统计误差不能完全根除，且很难控制，容易造成社会民众对统计数据质量高低的怀疑，造成其对统计数据精确性的误解，进一步影响到社会对统计数据的应用与消费。所以，在统计实践之中，误差常常被有意地忽视甚至是无视。与此同时，因为缺乏统计数据质量的规范与标准和一些非人力的不可控制因素，所以统计数据总是存在一定的纰漏。与此相比，采用大数据的统计方法能够有效地解决这个问题。

（三）数据获取成本高，耗费人力物力

传统的数据采集流程比较繁琐，不仅要花费大量的时间和精力，而且还会增加采集的物力成本，获得数据所消耗的成本也比较高昂。因为传统意义上工作人员所搜集的资料数据往往是从原始数据或者二手数据中得来的。二手数据来源于相关研究人员从前做过的调查、实验、数据收集活动等，所收集到的统计数据都是用传统的数据储存方法（纸张）来存放。因为它来源于研究人员以前的研究行动和各项活动的真实记录，所以这些二手数据就成了后来的研究人员在开展相似的数据收集活动或者行为时的一个重要参考。通过对零星分布的二手数据开展科学的汇总统计与分析处理，即可对各种现象的波动趋势、行为性质等进行分析。收集原始数据是将获得更接近于行为研究的先进资讯作为目标对活动成果或者行为对象当前状况的调查研究。二手数据和原始数据组成了数据收集的基本要素。探索性数据与传统数据的收集的定性研究的方法包括：参考文献检索法、文案法、投影技术、手工检索法、深度访谈法、小组讨论法、德尔菲法等；探索性数据与传统数据的收集的定量研究的方法包括：人员观察法（秘密采购法）、问询法（面访－入户、拦截、留置问卷、投递调查、固定样本连续调查等）、实验法。传统的数据收集方法主要依靠纸笔、调查人员与调查对象的当面沟通、文献查询、实地观察、提问式调查等。以上统计数据收集的环境非常复杂，而且杂乱无章，使得数据检索和数据分类成为一个很大的问题。

（四）统计样本量少，和统计成本成反比

因为统计样本的数量与统计成本呈反比关系，当统计样本的数量越多，统计所耗费的成本就越高，所以通常要在统计成本与统计样本的数量间找到一个平衡点。比如，统计居民消费者物价指数（简称CPI）时，可以利用抽样调查的方式，抽取和确定抽样调查的网点，并根据“定人、定点、定时”三守则，由调查员直接到各调查点收集最初的价格数据，总共涉及83000多家物价数据，但与整个国家的总体市场情况相比，这一样本的总量还不到总体市场的1%。由于传统数据采集时选定的地点、时间、天气、工作属性、手工记录数据、数据处理等不确定因素，使得数据采集需要大量的时间和人力资源，加大统计的难度，同时对经济预测的精确度不高，预测未知的数据应该保证数据的精准和数量的参考价值，样本量越大越精确，预测的效果则更佳，因此传统的统计方法不适用于经济预测，有待考究。

三、大数据统计方法在经济预测中的运用优势

（一）互联网技术，保障数据提取的及时性

基于对大数据的定义与特征的剖析，大数据并非对传统的宏观经济预测模型的一种创新，它是对传统的宏观经济预测模型的一种补充与完善。大数据在运用传统的统计学分析方法的基础上，对应用数据的方式进行了改善，以打破传统的统计学分析方法的限制，进一步改善并扩大升级宏观经济预测模型在预测中的作用和适用领域。经过了数十年的进步与发展后，传统的宏观经济预测方法已有了丰富的理论和实践经验，形成了全方位且多元的预测模型，并且可以预测与研析各种不同状况中的数据结构，但是由于所用数据的不足与缺陷，使得宏观经济预测模型的成效不能得到进一步的改善，导致预测模型出现了内外交困的窘境。近几年兴盛的大数据和与大数据有关的科学技术，比如分布式存储技术、爬虫技术、云计算等，都是以大数据为发展基石，为了获取和储存大数据、解决超大型数据运算过程中出现的问题而开发出来的大数据相关技术，但能够作为大数据的唯一、领异标新的宏观预测模型则相对匮乏。而且，在对经济问题的研究与探析中，大数据运用了大量的描述性手段，对其进行结构性的研究很少，缺少经济学原理和理论的支持。运用大数据技术与科学手段，获得实时数据，并与传统的宏观预测与分析模型相结合，不仅可以对经济问题进行有效的经济学理论诠释，而且可以从大数据中获得数据资料，以打破传统的统计数据的不足，促进宏观经济分析与预测的成效提升，让宏观经济分析与预测模型革故鼎新。

（二）网络平台操作，数据信息更加精准

数据的不断收集和累积，构成了数据的汪洋大海。在海量数据面前，大数据能够准确地找到人们所需要的资料讯息，并且很全面，相同或相关的信息都一一罗列出来，而且互联网记忆不同于人的大脑，计算机信息都是唯一且固定不会出错的，只要有过痕迹就会被计算机储存，也不会说像人脑会忘记。目前，企业信息管理系统、物流管理信息系统、客户信息与关系管理数据系统、数据和图像可来回转化的地理信息系统、人工智能AI决策支持系统等等大数据系统的规模化建设和运用，将人类所学的理论知识、经验教训，数据，计算机密切地联系在一起，建立了全新的产业——知识的探寻与数据的发掘，产业会在促进未来社会的发展中扮演重要角色。通过互联网平台所获取的数据，可以根据事故發生时的真实状况进行记录，从而降低了人工操作的环节，为数据的统计与分析带来了较为原始的资料数据，比人工采集和加工后的资料数据带来的统计信息与预测结果更为精确。

（三）大数据自动记录，降低人力成本

数据收集方法的衍变和世界范围内的信息化进程密不可分，二者相互促进、协同发展。社会各界非常看重并有效地使用信息数据资源，促进了信息技术领域的迅速革新与发展。尤其是在信息收集技术中，信息的记录、显示、传输、扫描、数据处理等技术的快速进步与发展，对家庭、各行各业甚至整个国家经济的信息化建设起到了巨大的推动作用。信息技术领域的加速发展，促使了社会各个阶层对各类资讯的需求加大，从而促进了调查行业的迅速兴盛。调查行业对信息技术能力的高度依赖，加速了资讯信息的搜集，缩减了信息的沟通和传递所耗费的时间，大大提高了信息类产品的实时性和信息的转化效率，节约了大量的人力、物力和时间，从而显著提高了统计数据工作的效率，为经济预测带来了实用的战略依据和参考依据，在进行经济预测时，能够迅速地抽取出显效的资源数据进行快速的评定和预测。

（四）大数据获取全体信息，统计样本量大

灵活运用网络大数据，能够快速获得整体或近似整体的样本信息，而不是采用统计取样的方法以获得样本的信息，由此推测得出整体的信息。在大数据的支撑下，计算可以得到所需要的大量样本量，而且还能够很好地贴近整个样本，从而可以直接获得更完整、最真实的统计指标。以数据量级的角度来分析，每年度的数据量级都在成指数级地增加，而在大数据时代到来之后，更是呈几何倍数增长。对于企业而言，迅猛的数据增长未必完全就是一件好事，用大数据对某些必须有即时的结果回应的数据任务进行分析处理也实在是得不偿失。我们期望能够在几秒钟之内完成数据分析与结果回馈，从而使数据分析人员的工作效率得到显著提升，而合理的抽样检测方式也能行之有效地提高运算速度。然而，为了进行经济预测，必须要有海量数据作为支撑，才能做出正确的预测与检验将来的趋势和可能存在的发展机遇。数据的数量越多，体量越大，对不确定的未知因素的预测就越准确，也就越合理。

数据收集方法的变化说明：唯有整个社会都注重信息的价值，把信息在经济活动里的作用发挥到极致，把信息转变成能够满足用户需求的资源，我国才有可能在信息全球化的演进过程中受益。

结 语

伴随着大数据时代的来临，我国制定了一系列的促进大数据获得深入发展的战略规划和政策文件，不断地推进大数据技术产业与我国传统行业的全面融合，推动中国特色社会主义经济结构的转型与升级，提升我国经济的可持续发展水平与国际竞争力。