Hive 简介

“大数据”一词用于指代包含巨大容量、高速度、以及不断增长的各类型数据的大型数据集合。传统数据管理系统难以处理大型数据。因此，Apache软件基金会推出了一个称为Hadoop的框架来解决大型数据管理和处理的挑战。

阅读更多：Hive 教程

Hadoop

Hadoop是一个开源框架，用于在分布式环境中存储和处理大型数据。它包含两个模块，一个是MapReduce，另一个是Hadoop分布式文件系统（HDFS）。

Hadoop生态系统包含不同的子项目（工具），如Sqoop、Pig和Hive，用于帮助Hadoop模块。

注意： 有各种执行MapReduce操作的方法：

Hive是一个数据仓库基础设施工具，用于在Hadoop中处理结构化数据。它依赖于Hadoop来总结大数据并使查询和分析变得容易。

最初Hive是由Facebook公司开发的，后来Apache软件基金会接手并在名为Apache Hive的开源项目下进一步开发它。它被不同的公司使用。例如，亚马逊公司在亚马逊弹性MapReduce中使用它。

以下组件图示展示了Hive的架构:

Hive 简介

这个组件图包含不同的单元。以下表格描述了每个单元：

单元名称	操作
用户界面	Hive是一种数据仓库基础设施软件，可以创建用户和HDFS之间的交互。Hive支持的用户界面包括Hive Web UI、Hive命令行和Hive HD Insight（在Windows服务器上）。
元数据存储	Hive选择相应的数据库服务器来存储表、数据库、表中列的模式或元数据，它们的数据类型和HDFS映射。
HiveQL处理引擎	HiveQL类似于用于在元数据存储中查询模式信息的SQL。它是传统MapReduce程序的替代方案之一。我们可以编写MapReduce作业的查询并处理它，而不是在Java中编写MapReduce程序。
Execution引擎	HiveQL处理引擎和MapReduce的联合部分是Hive Execution引擎。执行引擎处理查询并生成与MapReduce结果相同的结果。它使用MapReduce的风格。
HDFS或HBASE	Hadoop分布式文件系统或HBASE是将数据存储到文件系统中的数据存储技术。

以下图表描述了Hive和Hadoop之间的工作流程。

Hive 简介

以下表格定义了Hive如何与Hadoop框架交互：

步骤编号	操作
1	执行查询 Hive接口（如命令行或Web UI）将查询发送到驱动程序（任何数据库驱动程序例如JDBC，ODBC等）以执行。
2	获取计划驱动程序借助查询编译器解析查询以检查语法和查询计划或查询要求。
3	获取元数据编译器向元数据存储（任何数据库）发送元数据请求。
4	发送元数据元数据存储将元数据作为响应发送到编译器。
5	发送计划编译器检查要求并重新将计划发送给驱动程序。至此，查询的解析和编译完成。
6	执行计划驱动程序将执行计划发送到执行引擎。
7	执行作业在内部，执行作业的过程是一个MapReduce作业。执行引擎将作业发送到Name节点中的JobTracker，Name节点分配此作业到Data节点中的TaskTracker。在这里，查询执行MapReduce作业。
7.1	元数据操作同时，在执行过程中，执行引擎可以使用元数据存储执行元数据操作。
8	获取结果执行引擎从Data节点接收结果。
9	发送结果执行引擎将这些结果值发送给驱动程序。
10	发送结果驱动程序将结果发送给Hive界面。