基于Hive数据仓库的物流大数据平台的研究与设计

2017-05-13张锐

电子设计工程 2017年9期

关键词：物流分析

张锐

（驻马店职业技术学院河南驻马店 463000）

基于Hive数据仓库的物流大数据平台的研究与设计

张锐

（驻马店职业技术学院河南驻马店 463000）

针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析，提出物流数据仓库的具体实现方案，该数据仓库结合云平台虚拟化技术，部署了 Hadoop和Hive环境，搭建了基于虚拟化技术的大数据处理平台。同时从数据ETL和数据查询分析处理两方面对数据仓库的可扩展性Hive数据存储分析、Hive数据前置处理等进行研究设计。通过Hive数据仓库运行效果进行分析，表明该系统能够很好地支持企业管理层决策。

智慧物流大数据平台；Hive数据仓库；ETL；查询分析

随着电子商务的不断壮大，物流业的蓬勃发展，物流数据开始呈现爆炸式增长。目前用于物流行业的仍然是传统数据仓库居多，已有的物流信息管理系统的建设也大多采用常规的解决方案，即购置昂贵的的大型服务器，以此为基础，采用数据库分片的方式将数据存放到磁盘阵列中，这导致系统的扩展升级较为困难，花费巨大，且整个系统的耦合性较强，难以满足高效、可靠、经济的需求。然而，Hive数据仓库作为新型数据仓库架构，其利用大数据集群的优势，能够采用普通服务器集群满足物流企业对数据仓库提出的各项需求。因此，文中提出了基于Hive数据仓库的物流大数据平台设计。