王敏

摘 要：当前，传统的数据库技术及单纯基于Hadoop的分布式计算方法已无法满足离线数据和业务量的快速增长需求，运行成本大、工作效率低、用户体验差。文章提出基于TDH+Hive的离线计算平台，采用TDH作为离线数据存储平台，并通过Azkaban任务调度工具在Hive中对数据进行相应的ETL转换，根据不同作业对实时性要求的差异，将运行时间分散到不同时间段，实现系统性能的平衡，提升离线大数据的处理效率，同时能够精简数据、节省存储空间，降低后续的开发成本，提升开发效率。

关键词：离线数据;TDH;Hive;Azkaban

中图分类号：TP392

1 绪论

自20世纪90年代“大数据”的概念被提出以来，其重要性备受关注，“人类的大数据时代已经到来”更是在2012年麦肯锡咨询公司的研究报告中被强调。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1]。由此可见，运用新技术手段对大数据进行专业的“加工”和“处理”才能激发其内在价值，实现数据的“增值”。

本文基于TDH+Hive构建大数据的离线计算平台，采用TDH作为离线数据存储平台，并通过Azkaban任务调度工具在Hive中对数据进行相应的ETL转换。相对于传统的单纯基于Hadoop的分布式计算方法运行成本大、工作效率低、用户体验差等问题，本文构建的离线大数据计算平台，能够在兼容各类数据源的前提下，大大提高数据的处理能力，同时可以通过对数据的精简来达到节省存储空间的目的，进而降低后续的开发成本，提升开发效率。……