李留越

大数据时代已经来临，带来了信息科学技术发展的深刻变革，并对社会生产和人民生活的方方面面产生了巨大影响。全球范围内，世界各国均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。我国的互联网企业和学术机构正加大技術、资金和人员投入力度，加强对大数据关键技术的研发和应用。大数据已经不是那么遥不可及，它的影响力和作用力正在迅速触及社会的每个角落，所到之处，有对传统行业的冲击，也有基于大数据技术的产业革新，都让人们深切感受到了大数据技术的影响力以及作用力。

据预测，到2020年，全球包含PC、平板电脑、智能手机等联网设备将超过300亿台。实际上，随着物联网技术与可穿戴设备的飞速发展，终端设备会远远大于这个数量。大量终端设备会产生巨大的数据量，数据内容的种类也会变得多种多样，比如大量的普通文本数据、医疗影像数据以及越来越多城市摄像头所记录下的视频数据，还有最近比较火的短视频应用所产生的大量视频数据等等。大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术有四大特点：Volume（大体量）、Variety（多样性）、Velocity（时效性）和Veracity（准确性），人们将其总结为4V特征。

一般而言，大数据处理有三种模式：离线计算、在线处理和流计算。……