(对外经济贸易大学统计学院 北京 100000)

一、大数据的相关概述

(一)大数据的基本概念

大数据(Big data)的基本概念指的是在获取、存储、分析方面、其范围大大超出了传统的数据库软件所能涉及的范围的数据集合[1]。大数据的技术战略意义在于对收集大量的数据并对部分有意义的数据进行专业化处理，在对有意义的数据进行专业的处理后，能够达到产业的盈利目标。不同行业的大数据有着不同的特点和价值，但所有大数据的共同点是数据规模大，数据流动速度快、数据类型多样化以及数据所含的价值密度较低的四大特征。任何需要用到大数据技术的产业，都必须提高对于数据的加工能力，从而为数据进行价值的“增幅”。

大数据已经成为了生产力改革变化的原动力，它将引领科技创新并促进产业结构的变革，由大数据影响所形成的“云时代”已渐渐趋于完善。但作为一个时代的核心，大数据在应用中面临的各种安全问题和全新挑战也将接踵而至。

(二)大数据的技术构架

1.大数据挖掘技术关键

大数据的存在基础是建立在数据挖掘以及智能感知之上。智能感知主要工作任务是对于数据的识别、传输以及感知[3]。而数据挖掘则是通过对网络上现有的多源数据进行获取和捕捉。在数据的采集中，存在着大量的数据信息，其中信息价值各异，要收集并筛选出有价值的信息，是大数据挖掘的技术关键所在。

2.大数据的预处理技术

大数据的预处理主要指的是在进行数据挖掘的前期，通过相关技术来对数据进行预处理，主要方式包括数据的清理、数据的集成以及数据的规约[4]。在飞速发展的现代，数据被大量的创造和复制，总体的数据样本在不断增加扩大。海量的数据样本能够改善抽样所造成的样本信息不完善的缺陷。但过量的样本也导致了数据单体价值的减少，冗杂过量的数据样本导致空间知识贫乏[4]。因此需要在数据挖掘前对数据样本进行预处理，筛选无用数据，以求使数据中所蕴藏的价值能够得到充分利用。

3.数据实时处理技术

如今大数据处理主要应用于互联网业务中，随着业务流程的逐渐复杂化，数据集中化。数据的挖掘与处理重点集中在了“数据流”上。数据的实时处理需求被强调。能够实时链接外部数据源，对数据进行有效的处理。同时，还能够将大量分散的信息碎片进行规整处理，从中找寻有价值的信息来提供给企业使用。比较具有代表性的就是“云计算技术”。当常规的技术无法处理PB级大规模数据的时候，云计算技术能够很好的沟通终端和云平台，再通过一个大规模的分布式系统来对数据进行有效的分析[4]。

4.云计算技术

云计算技术的兴起有效地解决了由于海量的不同类型碎片化数据的产生。由于常规的数据处理技术已经无法满足大规模的数据计算，而云计算技术则能够通过一个大规模的分布式系统加以计算和高效分析，从冗杂的数据中心提炼出与目标匹配度最高的数据。

二、大数据在互联网中的应用

(一)大数据在互联网金融中的应用

网络的发展日新月异，互联网金融的发展也随之变化。其交易成本低、交易过程快捷简单、数据价值大、创新性高等特点让互联网金融逐渐成为人们生活的一部分[5]。但也正是由于这些特点，使得互联网金融能够将数据转化为资源，将资源转化为价值。随着科技的不断发展和变化，越来越多的互联网金融产品出现。例如拥有客户基数较大的支付宝、余额宝、微信零钱通等，均属于新时代下的互联网金融产品。而支付宝中芝麻信用分的评定，就是大数据在其中的应用。通过对用户的每一次交易进行数据挖掘和信用评价，实时反馈每一个用户的信用等级，并依据该等级向用户提供等价的服务。这种建立信用评级的风险控制模型需要对大量的用户数据进行支付信息的分析，把钱借给信用良好的用户，能够有效降低财富流通的风险，其中带来的价值正是大数据所提供的。

(二)大数据在电子商务中的应用

MCKINSEY[6]在研究中指出，数据是基础资源，可以与物质资产、人力资本相提并论，为世界经济创造重要价值，提高企业和公共部门的生产率和竞争力，为消费者创造大量的经济剩余。电子商务中需要大量分析潜在客户的需求和商品的演变发展趋势。在一定程度上，互联网商务的竞争可以看做是数据信息的竞争，也就是大数据的竞争。不同于过去的消费者基数时代和商品销量时代，现代的电子商务靠的是数据信息创造价值[1]。

现如今，淘宝，京东等电子商务巨头在网络交易平台上已经拥有了海量的卖家和买家。大量的交易案例和商品服务产生的大量数据中蕴含着潜在的商业价值。此时就需要通过大数据挖掘和筛选的方式，来整理出对企业发展有帮助的信息。通过大量分析客户的消费特征和消费需求，以此为基础有目的性的向正确的客户群投放广告。用多方位采集的到用户数据信息来界定潜在消费者，从而实现精准的营销效果[1]。

(三)大数据在网络社交中的应用

随着互联网的发展和壮大，人们的社交中心也逐渐发生转移。相比起过去需要电话沟通或者约见面谈的社交过程。现代人的网络社交显得方便和快捷。较具有代表性的网络社交例子就是微博、微信、Uki等社交软件。其中以Uki为例，这款交友软件就通过大数据的方式，将拥有共同兴趣的用户进行划分归类，并以此提供交友机会。该软件中的“群聊模式”，就是通过大数据筛选，使用户能够进入自己感兴趣的群，选择语音连麦或者文字交流。用户还可以通过UGC发布图文动态，向陌生人展示自己的生活状态，再通过大数据的挖掘和分析，推送有相同兴趣爱好的交友对象。

(四)大数据在短视频广告推送中的应用

在2012年4G时代到来后，一种以短片视频为传播方式的互联网新媒体营运而生。随着移动终端的普及，短平快的大流量传播内容逐渐获得各大平台的青睐。此类短视频所带来的网红经济效应以及推广能力离不开大数据在其中的应用。

例如现在网络上较为火爆的短视频推广软件“抖音”，就是通过向终端客户推送发布不限量的短视频，通过记录用户对推送视频的点赞数量，观看时长等。确定终端用户的喜好，并根据喜好来对用户进行视频和广告推送。同时，抖音这款APP还通过以粉丝的数量来限制用户发布短视频的时长。无粉丝的普通用户只能够发布1～5秒的短视频，而拥有了1000粉丝以上的用户就能发布15秒的短视频，2000粉丝以上的用户就能够发布30秒的短视频。同时，通过大数据的挖掘和筛选，有选择性的向用户推送视频和广告。能够有效提高广告的宣传力度，从而实现用户购买宣传产品，达到广告价值。

(五)大数据在智能电网中的应用

电力系统中每一部分的电压变电所及输配电线路所组成的整体，合称为电网。截止2010年底全国220千伏及以上输电线路总长度达到43万公里，变电容量19.6亿千伏安，分别是“十五”末的1.7倍和2.4倍，电网规模跃居世界第一。2011年前三季度，全国电网工程完成投资2201亿元，电网建设新增220千伏及以上变电容量12817万千伏安、线路长度22507千米。原本的电网运营模式已经无法满足现状，庞大的电网带来了大量的数据和信息，因此对电网系统的信息处理能力提出更高的要求，而大数据则为智能电网的建设带来了飞速的发展，目前呼声最高的数据处理方式是通过建立Hadoop构架上的数据平台和商务服务这些措施来有效地提升电网系统的数据处理能力，利用大数据来对海量的数据信息进行收集和处理，从而使用户能够更加方便的处理和分析数据，减少数据损耗造成的附加成本[1]。

三、结论与建议

如今大数据处理在互联网中的应用远远不止本文所罗列的这四种。随着时代的变迁，大数据技术已经获得了极大程度的进展，但数据的迭代和复制，使大数据的复杂程度越来越高。并且由于数据样本不断的上涨，数据单体所具有的价值也逐渐降低。如何使大数据在互联网的应用中得到充分的利用，使数据本身产生更多的价值，依旧是目前面临的问题之一。同时，大数据在互联网中应用也应注意相关的安全问题，应加强这一方面的法律建设和管理，防止不法分子利用大数据破话社会和谐稳定。完善大数据的应用，能够为我们带来巨大的利益和价值，最终形成新的网络体系。