UI: 用于提交查询的客户端,Hive自带有CLI(command line),现在推荐使用beeline DRIVER: 1.用于接收客户端提交的sql,并实现了session控制
UI:
用于提交查询的客户端,Hive自带有CLI(command line),现在推荐使用beeline
DRIVER:
2.并提供了jdbc/odbc的fetch和execute功能
COMPILER:
编译器,负责解析SQL,并从METASTORE那里获取元数据生成执行计划,然后发给DRIVER
执行计划就是一个DAG(有向无环图)
组件:
1.Parser:将查询语句转变成一个parse tree
2.Semantic Analyser:将parse tree变成一个内部的查询表示(依然是基于查询块,而不是operator tree)。同时在这一步也会做语法检查,类型检查和类型隐式转换
3.Logical Plan Generator:将内部的查询表示转变成一个逻辑计划(包含一个operator tree),一些operator是关系代数的filter,join等,另一些是hive特定的,用于将逻辑计划变成一系列的map/reduce job,比如reduceSink operator(出现在map-reduce边界);这一步Optimizer也会对查询进行优化,比如map端聚合等
4.Query Plan Genertor:将逻辑计划转换成一系列的map-reduce tasks.做法是,通过对operator tree递归遍历,然后拆分成一系列的map/reduce task,然后提交到hadoop进行执行
METASTORE
元数据存储,存储数仓中的DATABASE,TABLE,PARTITION,COLUMN,SERIALIZERS和DESERIALIZERS
目的:提供数据抽象和数据发现,如果数据抽象,每次查询的时候,用户都需要提供数据格式,extractors和loaders。metasore的数据在表创建或重建都会更新,类似于传统数据仓库(这些信息存在于配置的数据库中,一般是Mysql)
EXECUTION ENGINE
DRIVER将执行计划发给ENGINE,然后ENGINE与底层交互获取结果后,返回给DRIVER。DRIVER再将数据发送给客户端
这一个ENGINE设计的挺好的,以前是mapReduce,现在可以是TEZ,spark,以后是否在出现新的框架,谁又说得准?!
--结束END--
本文标题: HIVE架构
本文链接: https://www.lsjlt.com/news/6850.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0