大数据时代对统计学的挑战探析

2018-07-14谭雅蓝重庆市第八中学校

消费导刊 2018年23期

谭雅蓝重庆市第八中学校

引言：现阶段，信息的多样性发展推动了大数据时代的到来，无论是学校档案、图书馆还是交通、企业财务都具有庞大的数据流，与此同时也加大了统计学的难度，以往的统计手段和系统已经无法满足当前形势的需求，如何满足大数据处理需求是统计行业亟待解决的问题。

一、大数据时代统计学的挑战

大数据与传统数据相比，其重点在于“大”，也就是说数据量的庞大和复杂是其主要特点，与传统数据在性质上还是相同的。大数据形势下的统计学需要有强大的信息采集、整合和处理能力，每个步骤既相互独立，又密切关联。而大数据与统计学之间是相互促进又相互制约的关系，统计学在大数据时代面临的挑战主要表现为以下几个方面：

（一）统计技术和软件的守旧

大数据时代的特点为规模化、系统化、多样化，而信息资源的获取方式也丰富多样。当时当前形势下，我国在统计学领域使用的手段还过于守旧，无法满足大数据时代的要求，加大了信息管理的难度。也就是说大数据环境给统计学提出了更高的要求，这是挑战之一[1]。另外，电子信息的进步与统计软件之间的不平衡也是阻碍统计学发展的因素之一，这使由于很多软件都是随着计算机技术的发展而衍生出来的，具有一定的局限性，内容为使用已有模板来优化统计步骤，从而提升工作质量和效率。现阶段，我国主要用于统计的软件有SAS、stata、SPSS等等，想要迎合大数据时代的发展还需要不断改进和完善，达到优化传输和存储数据的目的。所以，软件设计者要加强统计工具的创新和升级，并将软件系统和商务网络相连，便于用户更新和下载，从而提高软件的利用率。

（二）统计数据的精准要求

在统计过程中，样本起着至关重要的作用，其主要作用是对数据进行整合分析并发现数量之间的关系和特点，而数据信息的实际价值决定了样本的选择和使用。大数据的发展使样本的选用更为困难。第一，这种环境下，数据规模的庞大使人们既想探究数据信息的涵义，又想掌握数据信息的由来，而以往的统计方法无法满足这些要求，这就急需转变统计学的方法，从而满足人们的使用需求。第二，数据的规模性、复杂性和分散性在一定程度上限制了样本选取和使用，相比于传统工作范围更广且界定不够明确。第三，随着电子商务和网络技术的不断发展，数据也在日益递增，很多信息内容都值得考究，但是网络平台的数据大多缺少规律性，与统计学要求的条理、逻辑、结构不符，这导致很多有实际意义的数据无法得到有效利用。

统计学在大数据环境下正面临着巨大的挑战，因此，要尽量革新统计结构，满足当前形势的需求，达到准确选取和分析数据的目的。

二、大数据时代统计学的机遇

（一）统计手段

由于大数据时代的变革，统计学领域也在不断创新发展，以往的统计手段仅能使用一台计算机处理数据，现代化的统计方法可以充分利用多台计算机，以移动硬盘为操作基础，实现数据信息的汇总分析，使数据流更为清晰具体，而各种复杂分散的信息都可以通过系统进行整合归纳，工作效率和质量都有所提高。除此之外，数据的种类正随着时代的发展不断增多，而统计手段也迎合了社会的需求正趋于多样化，未来的发展前景是不可限量的。

（二）预处理数据

各领域的进步致使数据呈现规模化、复杂化、分散化发展形态，这也是大数据时代生成的原因，而这个时代的到来也改变了人们的生活、工作和学习。例如人们使用网络查询信息时可以利用搜索功能，系统会在短时间内将整合的信息传达到网页上，便于人们浏览或学习[2]。预处理数据的概念是对一些缺少规律性的复杂数据进行整理，遵循了随机抽样原则，步骤为先筛选，再纠正，最后对数据进行查缺补漏，通过这个流程可以将统计数据在使用之前无用信息就得到剔除，错误数据可以得到改正而缺失的信息可以在第一时间得到补充，确保信息的高效性、准确性和完整性，有利于数据的有效使用和共享传播。

（三）大数据整合

以往的统计数据在选取归纳以及使用是都具有局限性，具体表现为数据处理量偏小且精确性不够，并且人为统计很容易受到外界因素的影响，与现代化统计学相比比较容易出现误差，极有可能达不到预期的结果。而大数据时代的到来推动了统计学的发展，在现代化技术的支持下可将数据转换压缩并投入使用，从各个步骤上来看都缩短了工作时间，还可以针对影响因素创建动态信息模型，使统计模型可以满足各种类型数据的处理需求，减少不匹配情况的发生。