李留越

大数据时代已经来临，带来了信息科学技术发展的深刻变革，并对社会生产和人民生活的方方面面产生了巨大影响。全球范围内，世界各国均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。我国的互联网企业和学术机构正加大技術、资金和人员投入力度，加强对大数据关键技术的研发和应用。大数据已经不是那么遥不可及，它的影响力和作用力正在迅速触及社会的每个角落，所到之处，有对传统行业的冲击，也有基于大数据技术的产业革新，都让人们深切感受到了大数据技术的影响力以及作用力。

据预测，到2020年，全球包含PC、平板电脑、智能手机等联网设备将超过300亿台。实际上，随着物联网技术与可穿戴设备的飞速发展，终端设备会远远大于这个数量。大量终端设备会产生巨大的数据量，数据内容的种类也会变得多种多样，比如大量的普通文本数据、医疗影像数据以及越来越多城市摄像头所记录下的视频数据，还有最近比较火的短视频应用所产生的大量视频数据等等。大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术有四大特点：Volume（大体量）、Variety（多样性）、Velocity（时效性）和Veracity（准确性），人们将其总结为4V特征。

一般而言，大数据处理有三种模式：离线计算、在线处理和流计算。Hadoop是目前使用较为广泛的离线计算应用框架，在线处理和流计算尚未形成广泛使用的开源生态环境。说到大数据我们首先要关注的是Google公司，Google公司的三大核心技术MapReduece、GFS和BigTable奠定了大数据分布式处理的基础。MapReduece是一种编程模型，用于大规模数据的并行计算。在Google公司三大核心技术的基础上，Apache社区开发的开源软件Hadoop是实现MapReduece计算模型的分布式并行编程框架。Hadoop还提供一个分布式文件系统（HDFS）及分布式数据库（Hbase），将数据部署到各个计算节点上。Hadoop的独特之处在于它的编程模型简单，用户可以很快地编写和测试分布式系统。2008年以来，Hadoop逐渐被互联企业广泛接受，这一开源的生态系统已成为大数据处理的主流和事实标准。

当前，对大数据的处理分析技术正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用，这些应用不断产生大量数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到应用中去，将创造出巨大的经济和社会价值。可能有些人还没意识到大数据的作用，总觉得这种技术很遥远，但是大数据技术已经融入了我们的生活。比如现在很火的抖音短视频APP，很多年轻人的手机里面都有这个APP，用的时间久了你就发现这个手机软件会根据你的喜好给你推荐视频，这正是对于大数据处理分析技术的应用。当你使用了一段时间这个软件之后，它收集了你点赞的视频，然后经过后台的分析，把相关的视频推荐给你，这样你使用这个软件的时间就会变长，就会给软件的制作者带来收益。

对于大数据处理与分析技术的应用还体现在生活的很多方面。在社会管理方面，我们的政府会根据全国的就业信息来分析目前经济形式和企业的经营问题。解决十几亿人的吃饭问题是我们国家经济发展的首要任务，国家对就业形式的全面了解有利于制定相关的政策来解决相应的问题，但是整个国家的就业信息非常庞大，这个时候就需要大数据处理与分析技术来解决这个难题。首先我们要对全国就业信息进行采集，然后将所有采集到的数据利用分布式文件系统存储在很多台机器上。利用相关的经济学原理，分析我们所采集到的数据之间的逻辑关系，然后在一些优秀的大数据平台如Hadoop、Spark等上编写相应的数据分析程序，最后将程序部署到我们的存储数据的机器上，开始我们的数据分析并且将最终的结果汇总，得出我们想要的结论。大数据处理与分析技术不像传统的抽样调查，大数据分析是对所有数据的计算，不是对部分数据的分析，这样我们利用大数据处理与分析得到的结论比传统的抽样调查得到的结果更准确。除此之外，通过对全国就业信息的分析，我们不仅仅可以得出国家经济形式相关的结论，我们还可以利用其中的数据来判断当前比较热门的行业有哪些，预计哪些行业将会给就业者带来无限机遇。

在这个信息时代，我们每个人每天都会产生各种各样的数据，例如我们的出行信息、购物信息、身体健康状况等信息，利用这些数据为我们的生活带来便利是大数据处理与分析技术所要做的。生老病死是人的客观规律，在治理疾病方面，我们的大数据处理与分析技术有着非常广泛的应用。在医疗行业，大数据技术的应用有比较效果研究、临床决策系统和远程病人监护等等。通过全面分析病人特征数据和疗效数据，然后比较多种干预措施的有效性，可以找到针对特定病人的最佳治疗途径。研究表明，对同一病人来说，医疗提供方不同，医疗护理方法不同和效果不同，成本上也存在很大差异。精确分析包括病人体征数据、费用数据和疗效数据在内的大型数据集，可以帮助医生确定临床上最有效和最具有成本效益的治疗方法。

在我们的日常生活当中，我们最常见的应用大数据处理与分析技术应当是天气预报，我们每个人都会很关心天气信息，天气与我们的生活息息相关。以前我们收看天气预报，我们基本上只能看到未来三天的天气信息，并且这些天气信息有可能出错。但是现在不同了，我们在天气预测这方面引入了大数据技术，我们不仅可以查看未来一周甚至15天的天气信息，还可以查看未来24小时内每个时间段的天气信息，并且现在天气信息的准确率非常高。大数据技术在我们的生活中的应用已经无处不在，只是如果我们不去深入了解，我们就不知道这其中深藏着对大数据技术的应用。我们生活中的购物网站的智能推荐、我们的智能设备对身体健康状态的检测、手机上地图软件的实时路况及路径推荐等等，这些都运用到了大数据技术。

大数据技术已经融入我们的生活，在眼下这个“深刻变革、深刻变动、深刻调整、深刻变化”的时代，我们更需要学习科学技术，保证自身不会被这个时代淘汰。大数据时代已经来临，新的时代，新的挑战，需要我们更加好好学习。