杨青俊

随着时代的进步，互联网快速发展，互联网技术在各行各业得以广泛使用。对数据的分析和使用呈现井喷式的增长和几何式的上升，我国于2012年开始进步大数据时代。大数据时代给人们带来便利的同时，也因为其自身的规模广、增长快、稀疏性等特点而造成了分析的困难。为了解决这种困难，人们试着将概率论和数理统计投入到大数据分析中，并取得了相对显著的成就。基于概率论和数理统计的大数据分析更为准确，使得互联网技术更高效的服务于人类，需求分析和生产投放得以精准，减少了中间环节产生的成本浪费，整个社会的生产力大幅度提升。本文将针对概率论与梳理统计在大数据分析中的应用策略进行更为深入的探讨，方便读者了解什么是大数据分析，明确概率论和数理统计如何作用于大。

一、引言

现如今，概率学在我们的生产生活中的方方面面都有着广泛的应用，它既可以帮助我们有效的认识这个世界，通过使用概率论和数理统计帮助人们冷静客观的分析现实生活中存在的问题，解读数据，帮助人们提高生活质量和工作效率;又可以根据已有的数据和行为轨迹推算出事物演变的规律和发展方向以及发展趋势，指导人们朝着科学的方向前进。因此，概率论和数理统计不仅是一门学科知识，更是指导人们认识世界改造世界的方法论，通过概率论和数理统计的应用，指引人们认清问题解决问题。时代发展至今，人们对概率论和数理统计的需要越来越迫切，对大数据分析的应用需求也越来越大，为此，笔者将对概率论和数理统计在大数据分析中的应用策略进行深入探讨，希望以此帮助读者更清晰的了解这方面的知识，为大数据在生产生活中的广泛普及起到一定的作用。

正如我们所知道的那样，现如今各行各业、生活的方方面面都在或多或少的使用着概率论和数理统计，一些新兴且重要的行业更是如此，如电子商务、互联网技术和互联网广告等，概率论和数理统计等概率学知识依然成为一项我们认识世界改造世界重要的知识手段和方法论，它不再是一门毫无生命的抽象的学科知识。我们可以通过使用概率学理论知识客观科学的分析生产生活中的复杂的问题和技术难题，处理庞大的数据，提高生活质量了和工作效率，了解各方面的参数，更可以通过概率学知识和已有的数据与行为轨迹推算出事物演变的规律和发展方向，以及行业的发展趋势和可能出现的问题。因此，概率论对生产生活有着重要的指导意义。随着大数据时代的来临，数据规模呈现井喷式增长，概率论和数理统计有效的帮助人们减少了分析数据的时间和复杂性，同互联网的结合与应用更是将社会运转推上了一个高效的巅峰。

二、概率论与数理统计

在高等数学中，概率论和数理统计是一种特征鲜明的分析方法，在研究对象上有着十分独特的思维方式和特点，与其他学科有着紧密和深入的联系，如经济学等，是一个交叉型特别强的学科。概率论和数理统计的知识涵盖非常丰富，使得它成为数学分支中非常重要的组成部分。直至目前，概率论和数理统计方法在社会的各个领域都有着或大或小的應用，概率论和数理统计既可以被看作是一门独立的学科，帮助人们提高生产生活效率，在工业、互联网和其他行业领域适用。概率论和数理统计对数据信息和计算机技术的的需求十分严格，在“互联网+”和大数据分析中有着不可比拟的优势。同时，又可以被看做是一门与其他知识联系紧密的非独立学科，因为它本身具有较强的交叉性，和其他学科内部存在着紧密的联系，具有相互渗透的作用。由于概率论和数理统计具有非常广泛的涵盖和应用范围，人们很难对其进行准确的定位和逐一进行解释，因此，本文将仅就概率和树立统计几个方面的应用策略进行讨论，以帮助读者知晓概率论和数理统计在在大数据分析中是如何具体应用和使用的。

三、大数据分析

大数据分析是一门应用广泛的热门研究方向，由于其自身存在的优势被各行各业广泛使用。大数据分析的方法也在不断发展和完善，随着科学技术的前进，一些大型公司甚至有专门的大数据分析部门，运用高端的技术和设备，已达到分析的准确和客观。

大数据分析是一门非常庞大繁杂、分支很多的学科，因为大数据涉及方面的多样性大数据分析结果可以应用在生产生活中的方方面面，包括我们在处理海量数据时难以发现规律而带来的一些问题，都可以运用概率论与数理统计中的一些方法来发现问题趋势，从而解决问题。事实上概率论成了现实生活中很多问题的方法指引。但是从我们现如今的研究情况来看，不难看出，许多理论上不错的研究方法在实际运用中却并没有得到广泛的应用。这是因为这些方法还是具有一些短处。从而难以适应现如今大数据分析中的一情况。即使运用概率论与数理统计的方法来研究大数据分析，可是还是有许多研究模式或者方法难以迅速地从理论转向实际生产。

四、概率论与数理统计与大数据分析的联系

大数据时代的加快，使人们使用计算机和科学技术运用概率论和数理统计进行大数据分析成为可能，也加深了概率论和数理统计与大数据分析之间的联系。具体体现在以下几个方面：

（一）研究方向相同。概率论和数理统计与大数据分析的研究方向是一致的，都是为了更准确清晰的对数据进行分析与探索，以寻求大数据的内部联系与规律分布。

（二）大数据的发展，使得大数据分析为统计学拓展了新的空间和领域，为概率论和数理统计的研究提供新的方向，在大数据分析的基础上，推动概率论和数理统计的发展。

（三）大数据分析是独立于统计学知识范畴的，不属于其任何一门分支。大数据分析也不仅仅局限于和数理统计与概率论的联系，它还可以被运用到其他生产生活领域，成为该领域指导方向发现规律的工具和方法论，如云储存等。

（四）概率论和数理统计是DM中且较为成熟的知识体系和理论，这种技术在DM中发挥着重要作用与意义。

五、概率论与数理统计在大数据分析中的常用方法

概率论与数理统计在大数据分析中的常有方法有二：层次分析法和蒙特卡罗法。

（一）层次分析法

层次分析法是指“指当人们对某些不确定因素的演变规律及发展趋势进行研究时，必须要对这些因素的影响作用及相互联系进行综合考虑，由于评价指标中的这些不确定性因素是可以按照层次进行划分的，同时，在各个层次中的不确定性因素内还包含着若干要素，这就使整个复杂问题的结构看上去是一种多级递阶结构，在对这类问题进行解决时，就可以采用层次分析法来对这些层次中的不确定性因素对于整个问题的相对重要度进行判断，而这便产生了概率。”层次分析法的建立主要包括四个方面：一是明确问题的各个要素，并对这些要素进行层次划分，使得问题结构趋近于递阶层次结构，二是用上一级的要素作为对下一级要素进行划分的标准，实施两两对比，三是按照评定尺度来对下一级要素的重要程度进行确定，构建判定矩阵，四是对问题中的各个要素的相对重要程度和综合重要程度进行计算，帮助决策者做出正确而合理的决定。

（二）蒙特卡洛法

蒙特卡洛法是指“是在概率论与数理统计的基础上对问题中的不确定性因素进行反复随机的抽样，以此模拟出该不确定性因素的自身变化给问题带来的影响程度，并对问题中的所有不确定因素给问题带来的影响进行计算分析，进而获得科学的分析结果。”蒙特卡洛法的优点在于可以模拟问题的实际过程，其数字表达式为Z=k（x1，x2，x3，...， xn），xi（i=1，2，3，...，n）代表该复杂问题中存在的 n 个相互独立的随机变量，n个变量的函数是Z，Z则是需要求解的目标。

六、概率论与数理统计在大数据分析中的应用策略

概率论和数理统计在大数据分析中的应用策略本文主要从两方面进行阐述，一是经济数据分析，二是商业数据分析，具体如下。

（一）概率论与数理统计在经济数据分析中的应用策略

数据对经济而言，一直具有十分重要的作用。在各类数据中，经济数据是十分典型且应用性强的一种。对经济数据进行分析有利于推动社会的整体发展，但在分析过程中，由于经济数据具有低密度的特点，导致经济数据分析存在一定困难，因此，需要通过概率论和数理统计来使经济数据分析变得更为简单有效，就具有十分重要的意义了。如正被广泛应用在经济金融管理领域的正态概率分布的方法，通过此种方法对经济数据进行分析能够有效的预测和描述连续性随机变量的概率，并对概率所有相关信息进行高效的分析，从而通过分析结果对市场经济状况进行实时掌握，帮助人们了解市场发展规律和运作模式，以及其中普遍存在的市场经济规律，甚至能够分析出更多的经济信息，从而帮助决策者制定长远的战略目标和工作部署。

对经济数据的分析除了对经济市场的变化规律和发展趋势进行分析和预测，还要预测和分析经济运行的风险。概率论和数理统计则可以帮助经济市场的投资者有效减少投资过程中潜在的风险，降低风险产生的可能性，增加投资者利润获取的概率和可能性。

（二）概率论与数理统计在商业数据分析中的应用策略

大数据时代，商业数据对于企业的生存与发展而言具有十分重要的作用，而商业数据又属于经济数据的一种。现如今，企业进行商业数据分析时，大都会采用概率论和数理统计，如分析计算商业数据中的大客户流失概率，首先需先建立研究模型，确立流失数据与流失函数相对应的函数关系，其次找出对大客户流失产生影响最大的因素，并按照划分层次进行归类，设定特殊时段，对特殊时段中大客户流失情况进行汇总，制作流失情况走势图，计算出标准函数，进而获得特定客户在某一时段的流失概率，通过函数公式找出协变量，分析出影响要素的定义，最终完善模型的构造。在模型构建后需要注意的是，由于最大片似然函数对回归参数的计算过程中影响大客户流失的因素众多，为了减少模型维数以降低参数估計难度，需要对这些影响因素进行选择性使用，同时我，为了确定协变量的数量，还应按照数理统计的结果进行筛选，以避免错误的产生，提高正确性。

七、结语

概率论和数理统计在大数据分析中具有十分重要的作用，是有利于高效分析数据的有效工具。在未来，数据分析和数据基数将会占据越来越重要的位置，而概率论和数理统计也将成为一项能够推动人们生产生活发展的重要研究方向。

（作者单位：中国人民大学统计学院在职研究生）