亢华爱

摘 要：Hive是一种建立在Hadoop上的数据仓库基础构架。Hive系统结构中的解析器，可以将用户编写的HiveQL语句进行解析，解析出相应的MapReduce程序，本文使用Hive对某网站用户评论数据进行分析，快速实现MapReduce统计任务。

关键词：Hive;HQL;MapReduce

中图分类号：TB 文献标识码：A doi：10.19311/j.cnki.1672-3198.2022.05.077

1 Hive的概述

Hive起源于Facebook，Facebook公司有着大量的日志数据，面对这样海量的结构化数据， Facebook开发团队想到设计一种使用SQL语言就能够对日志数据查询分析的工具，这样只需要懂SQL语言，就能够胜任大数据分析方面的工作，大大节省开发人员的学习成本，Hive就这样应运而生了。Hive 是Hadoop生态系统中的一个数据仓库技术。大量数据存储在HDFS中，Hive能夠将这些的数据进行数据加载、提取和转换。

在Hadoop生态系统结构中，Hive这个数据仓库技术占有非常重要的地位，Hive能够将一个个结构化的数据文件映射为一张张数据库表。Hive完成的映射关系包括，SQL中的表、字段映射为HDFS中的目录、文件。Hive实现这种映射依靠的是Hive解析器，Hive解析器能够将用户的SQl语句解析成相应的MapReduce程序。总之，Hive借助Hadoop的MapReduce程序完成计算;借助Hadoop的HDFS进行数据存储;依靠MySql进行元数据的存储。

Hive具有完整的SQL查询功能，用户可以使用类似SQL的语言进行数据查询，对于熟悉MapReduce的程序员，也可以开发用户自定义的mapper程序和 reducer程序来处理复杂的分析工作。虽然Hive具有类SQL的查询语句HQL，能够完成数据查询功能，但从体系结构、功能等方面来看，它都不是数据库。

使用Hive的过程中，用户只需要熟悉SQL语言就可以完成大数据分析工作，这样就可以让一些不擅长基于Java的开发，编程基础一般，不熟悉MapReduce开发的用户，能够在HDFS大规模数据集上利用SQL语言进行查询、汇总、分析数据。……