基于Hadoop的军交运输大数据联机处理模型和算法思考
2016-12-15赵蓉徐柳陈小凡
中国储运 2016年12期
文/赵蓉 徐柳 陈小凡
基于Hadoop的军交运输大数据联机处理模型和算法思考
文/赵蓉 徐柳 陈小凡
本文分析了在物联网关键技术发展的前提下,军交运输大数据的特点以及处理分析面临的挑战。期望建立HaMOlap一个基于Hadoop的大数据联机处理(OLAP)模型和算法。此模型能够实时、快速地提取、过滤和分析处理军交运输海量数据信息,从而进行有效地预测,提供决策支持。
军交运输大数据;Hadoop;OLAP
1.概述
随着信息技术以及互联网关键技术的发展,以及这些技术在传感器和科学领域的数据分析等广泛应用,互联网上的数据量呈爆炸性增长,每年大约翻倍增长。而目前世界上90%以上的数据都是最近几年才产生的。此外,数据又并非单纯指人们在互联网上发布的信息。随着“物联网”的发展,全世界的工业设备、交通工具、电表等等各种设备上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。这些海量的数据信息利用新的处理模式而具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资源才能称之为“大数据”。在某种角度上可以说,是由于“物联网”和“云计算”的快速崛起,促使了大数据的产生。而在这些生物信息学、地球物理学、天文学和气象学科等领域大数据存储以及工业中的网络数据分析、点击流量分析和市场数据分析等都存在巨大的挑战。……
登录APP查看全文
